发布日期：2025-01-01 14:17 点击次数：157
在现在数字化时间，图形用户界面（GUI）原型遐想是开拓交互式系统的蹙迫要道。GUI原型不仅有助于需求的获取彩娱乐登陆网址入口官网，还能匡助用户和开拓团队测试、评估和考证遐想理念。可是，创建高保真GUI原型频频是一个耗时且资源密集的过程。尽管现存探讨照旧探索了自动生成GUI原型的形状，但这些形状大多依赖于资源密集型的侦查和微调，且主要生成低保真度的GUI布局。来自自德国曼海姆大学的探讨团队提议了一种基于零样本（Zero-Shot, ZS）教导的高保真GUI生成形状，磋磨了检索增强生成（Retrieval-Augmented GUI Generation, RAGG）、教导明白（Prompt Decomposition, PDGG）和自我批判（Self-Critique, SCGG）等本领，权贵进步了GUI原型的生成后果。
第一章：序文
GUI原型在软件开拓中上演着蹙迫变装，尤其是在需求获取阶段。高保真GUI原型或者匡助开拓团队与利益相关者进行更具体的疏导，从而幸免歪曲。可是，高保真原型的创建资本精熟且耗时，尤其是在需求频频变化的情况下。为了支吾这些挑战，探讨者们运行探索自动生成GUI原型的形状。举例，Instigator和MAx-Prototyper等器具通过侦查或微调大言语模子（LLM）来生成低保真度的GUI布局。可是，这些形状不仅需要大宗资源，而且生成的布局频频难以集成到骨子的职责经由中。
本文提议了一种基于零样本教导的高保真GUI生成形状，旨在通过更少的资源干涉生成高质地的GUI原型。具体来说，本文提议了三种零样本教导形状：检索增强生成（RAGG：Retrieval-Augmented GUI Generation ）、教导明白（PDGG：Prompt Decomposition for GUI Generation）和自我批判（SCGG：Self-Critique Looping for GUI Generation）。通过大鸿沟的用户界面（UI）仓库和LLM的推理能力，这些形状或者生成高保果然HTML/CSS GUI原型。
第二章：配景
2.1 基于当然言语的GUI检索
为了达成基于当然言语的GUI检索，本文接收了RaWi形状，磋磨了Rico GUI仓库和Screen2Words（S2W）模子。Rico是一个包含跳跃72,000个转移应用GUI的大鸿沟公开数据集，而S2W为Rico中的22,000个GUI提供了肤浅的高层形容。通过磋磨这些资源，本文或者快速检索到与当然言语需求（NLR）匹配的GUI原型。
2.2 大言语模子（LLM）
LLM是基于Transformer架构的大鸿沟生成模子，具罕有十亿参数，并在大宗文本数据上进行预侦查。GPT-3的发布标记着LLM在零样本学习能力上的冲破，使其或者快速相宜未经过特定侦查的新任务。本文期骗了LLM的零样本学习能力，磋磨多种教导形状（如链式念念维教导、教导明白和自我批判）来生成GUI原型。
第三章：形状论
添加图片凝视，不跳跃 140 字（可选）
这部分详确先容了用于生成GUI原型的多种零样本（Zero-Shot, ZS）教导形状。这些形状包括基线形状、教导明白（Prompt Decomposition, PDGG）、检索增强生成（Retrieval-Augmented GUI Generation, RAGG）和自我批判（Self-Critique, SCGG）。每种形状齐有其独到的上风和适用场景，底下将一一详确先容。
3.1 基线形状：ZS-Instruction和ZS-CoT
ZS-Instruction（零样本指示教导） ZS-Instruction形状是最基础的零样本教导形状。它通过肤浅的指示教导大言语模子（LLM）生成HTML/CSS代码。具体来说，本文提供了一个明确的任务形容，条目LLM凭证肤浅的高层文本形容生成一个转移页面的HTML/CSS代码。为了确保生成的代码不错径直使用，本文还额外伙同LLM不要提供评释或分隔代码块，而是径直输出齐备的HTML/CSS代码。
ZS-CoT（零样本链式念念维教导） ZS-CoT方设施更进一步，条目LLM在生成代码之前，先提供一个冉冉的推理过程。这种形状通过让LLM生成中间的猜测才调，而不是径直将高层文本形容映射为低层HTML/CSS代码，从而进步了生成代码的复杂性和准确性。ZS-CoT形状在好多任务中发达出色，尤其是在需要复杂推理的场景中。
3.2 教导明白（PDGG）
教导明白形状（PDGG）将GUI生成任务明白为多个子任务，冉冉生成GUI特征、遐想念念路和布局结构。这种形状更接近东谈主类众人的遐想过程，或者充分期骗LLM的猜测能力。具体来说，PDGG分为以下三个才调：
特征索取 率先，LLM被条目凭证高层文本形容生成一个详确的GUI特征相聚。这些特征包括GUI的各个组件相配功能形容。通过这一步，LLM或者更真切地长入GUI的需乞降功能。
遐想念念路生成 接下来，LLM被条目为每个特征生成遐想念念路，包括使用哪些GUI组件和库来达成这些特征。这一步匡助LLM造成更具体的遐想有贪图。
布局结构生成 终末，LLM被条目凭证之前生成的特征和遐想念念路，生成一个合座的布局结构和页面遐想。这一步将系数的信息整合在一齐，造成一个齐备的GUI遐想有贪图。
通过这种分步的形状，PDGG或者生成更高质地的GUI原型，况兼每一步齐充分期骗了LLM的猜测能力。
3.3 检索增强生成（RAGG）
检索增强生成形状（RAGG）磋磨了LLM的生成能力和GUI仓库的检索能力，通过检索与当然言语需求（NLR）匹配的GUI原型，生成高保果然HTML/CSS代码。RAGG形状的中枢念念想是期骗大鸿沟GUI仓库中的学问，快速检索到与NLR相关的GUI原型，并将其动作LLM生成代码的参考。
GUI仓库 本文接收了Rico GUI仓库，这是一个包含跳跃72,000个转移应用GUI的大鸿沟公开数据集。Rico不仅提供了GUI的截图，还包含了脉络结构数据和语义凝视。为了进步检索赶走的质地，本文还对Rico中的GUI进行了过滤，去除了包含秘密菜单的GUI。
LLM-Based GUI从头排序 为了进一步进步检索赶走的相关性，本文提议了一种基于LLM的GUI从头排序形状。具体来说，本文率先使用SentenceBERT（S-BERT）模子对NLR和GUI形容进行语义匹配，生成一个初步的检索赶走。然后，本文使用LLM对检索赶走进行二次排序和过滤，确保最终提供给LLM的GUI原型具有高相关性。
教导形状 在取得相关的GUI原型后，本文提议了两种不同的教导形状：
特征索取和团员 率先，LLM被条目从每个相关的GUI原型中索取特征相聚，然后将这些特征相聚进行汇总数团员。通过这种形状，LLM或者生成一个详细的特征相聚，动作生成HTML/CSS代码的参考。
径直编码和生成 其次，本文径直将相关的GUI原型截图编码到LLM的教导高下文中，条目LLM凭证这些原型生成HTML/CSS代码。这种形状充分期骗了LLM的图像长入能力，或者生成更具创意的GUI原型。
3.4 自我批判（SCGG）
自我批判形状（SCGG）通过LLM对生成的GUI原型进行反应和修正，造成一个迭代的GUI生成和反应轮回。SCGG形状的中枢念念想是期骗LLM自己的批判能力，赓续转换生成的GUI原型。
反应LLM SCGG形状包括两个主要组件：反应LLM和原型生成LLM。反应LLM凭证现时的GUI原型和NLR生成反应意见彩娱乐登陆网址入口官网，指出现时原型的不及之处和转换建议。反应LLM被额外伙同只提供文本形容，而不生成代码。
原型生成LLM 原型生成LLM则凭证反应意见和NLR生成新的GUI原型。通过这种迭代的形状，SCGG或者赓续转换生成的GUI原型，进步其质地和准确性。
3.5 LLM-based GUI内容生成
添加图片凝视，不跳跃 140 字（可选）
为了进一步进步GUI原型的真确感，本文提议了一种基于LLM的内容生成管谈。具体来说，彩娱乐本文率先使用LLM生成真确的文本和图像内容，然后将其集成到HTML/CSS代码中。通过这种形状，生成的GUI原型不仅具有高保真度，还包含了丰富的内容，进步了其蛊卦力和实用性。
内容生成才调
文本内容生成 LLM被条目凭证HTML/CSS代码生成真确的文本内容，举例列表项、相关居品等。
图像内容生成 LLM还被条目生成详确的图像形容，然后使用DALL-E-3模子生成相应的图像。这些图像被上传到作事器，并集成到HTML/CSS代码中。
通过这种内容生成形状，本文或者生成更具蛊卦力和实用性的GUI原型，权贵进步了其合座后果。。
第四章：评估
添加图片凝视，不跳跃 140 字（可选）
4.1 GUI形容数据集
本文通过Rico GUI数据集网罗了574个GUI形容，并邀请了30名参与者对这些形容进行评估，确保数据质地。最终，本文选拔了50个高质地的GUI形容动作测试集。
4.2 评估遐想
本文邀请了100多名具有UI/UX警戒的众包工东谈主对生成的GUI原型进行评估，共网罗了跳跃3,000个凝视。评估办法包括功能齐备性、功能宽度、功能达成、信息组织、视觉蛊卦力、造作率、合座欢跃度和应用齐备性。
4.3 模子栽培
本文接收了GPT-4模子进行现实，并栽培了合并的温度参数（t=0.50）以均衡生成输出的创造性和一致性。本文相比了基线形状、教导明白、RAGG和SCGG四种形状的后果。
第五章：赶走与商讨
添加图片凝视，不跳跃 140 字（可选）
在第五章中，本文详确先容了现实评估的赶走，并对这些赶走进行了真切商讨。通过大鸿沟的众包工东谈主评估，本文对生成的GUI原型在多个维度上进行了评分，包括功能齐备性、功能宽度、功能达成、信息组织、视觉蛊卦力、造作率、合座欢跃度和应用齐备性。以下是对每个探讨问题的详确分析和商讨。
5.1 RQ1：LLM-based GUI从头排序的灵验性
现实赶走 本文提议的LLM-based GUI从头排序形状在多个评估办法上权贵优于现存的BERT-LTR模子。具体来说，本文形状的平均精度（AP）达到了0.818，而BERT-LTR模子的最好精度仅为0.501。此外，本文形状在Precision@k、HITS@k和NDCG@k等办法上也发达出色。
商讨 这些赶走标明，LLM-based GUI从头排序形状或者灵验减少误报（FP），进步检索赶走的相关性。额外是在高精度的条目下，本文形状或者生成更少的不相关赶走，从而为后续的GUI生成任务提供了更高质地的输入。此外，本文还对误报进行了详确分析，发现这些误报频频仍然具有一定的相关性，仅仅防碍了一些次邀功能或细节。
论断 LLM-based GUI从头排序形状权贵优于现存的GUI从头排序模子，或者为GUI生成任务提供更高质地的检索赶走。
5.2 RQ2：ZS教导形状的灵验性
现实赶走 在评估ZS教导形状的灵验性时，本文发现自我批判形状（SCGG）在大多数评估办法上权贵优于基线形状和教导明白形状（PDGG）。具体来说，SCGG在功能齐备性、功能宽度、功能达成、信息组织、视觉蛊卦力、造作率、合座欢跃度和应用齐备性等方面均发达出色。RAGG形状在使用了跳跃5个示例的情况下，也在功能宽度和应用齐备性方面发达优异。
商讨 SCGG形状的上风在于其迭代的反应和修正机制，或者赓续转换生成的GUI原型。通过屡次迭代，SCGG或者生成更复杂、更齐备的GUI原型，权贵进步了其功能性和视觉蛊卦力。RAGG方设施通过磋磨LLM的生成能力和GUI仓库的检索能力，生成了更具创意和实用性的GUI原型。
论断 SCGG形状在大多数评估办法上权贵优于基线形状和PDGG形状，RAGG形状在使用了鼓胀数目的示例后也发达出色。
添加图片凝视，不跳跃 140 字（可选）
5.3 RQ3：RAGG中示例数目的影响
现实赶走 现实赶走标明，跟着示例数目的加多，RAGG形状的后果渐渐进步。额外是在使用了7个示例的情况下，RAGG在功能齐备性、功能宽度、功能达成和应用齐备性等方面均权贵优于基线形状。
商讨 这些赶走标明，RAGG形状或者通过加多示例数目来进步生成GUI原型的质地。更多的示例意味着LLM或者参考更多的相关GUI原型，从而生成更复杂、更齐备的GUI布局和遐想。
论断 加多示例数目或者权贵进步RAGG形状的后果，额外是在功能相关性和应用齐备性方面。
添加图片凝视，不跳跃 140 字（可选）
5.4 RQ4：SCGG中轮回次数的影响
现实赶走 跟着轮回次数的加多，SCGG形状在功能相关性和应用齐备性方面的后果渐渐进步。额外是在进行了3次轮回后，SCGG在功能齐备性、功能宽度和功能达成等方面均发达出权贵转换。
商讨 这些赶走标明，SCGG形状通过屡次迭代或者赓续转换生成的GUI原型。每次迭代齐通过反应LLM生成转换建议，并通过原型生成LLM生成新的GUI原型，从而冉冉进步其质地和准确性。
论断 加多轮回次数或者权贵进步SCGG形状的后果，额外是在功能相关性和应用齐备性方面。
添加图片凝视，不跳跃 140 字（可选）
5.5 RQ5：GUI内容生成的灵验性
现实赶走 现实赶走标明，基于LLM的GUI内容生成形状权贵进步了GUI原型的视觉蛊卦力、合座欢跃度和应用齐备性。额外是在SCGG形状中，内容生成进一步增强了GUI原型的真确感。
商讨 这些赶走标明，通过生成真确的文本和图像内容，GUI原型的蛊卦力和实用性得到了权贵进步。内容生成形状不仅加多了GUI原型的视觉蛊卦力，还进步了其功能齐备性，使其看起来更像一个齐备的应用规范。
论断
基于LLM的GUI内容生成形状权贵进步了GUI原型的视觉蛊卦力、合座欢跃度和应用齐备性。
添加图片凝视，不跳跃 140 字（可选）
第六章：局限性
尽管本文提议的形状在GUI生成方面发达出色，但仍存在一些局限性。率先，LLM-based GUI从头排序形状诚然权贵优于现存形状，但在某些情况下仍会产生误报。其次，SCGG形状诚然后果权贵，但需要破钞大宗的猜测资源。将来探讨不错进一步优化这些形状，进步其效力和适用性。
第七章：灵验性威迫
7.1 里面灵验性
本文通过严格的参与者筛选和小心力检查，确保了评估数据的质地。可是，生成的原型中功能数目的加多可能会影响信息组织和视觉遐想的评估赶走。
7.2 外部灵验性
本文的现实数据基于Rico GUI数据集，可能戒指了赶走的普适性。额外是关于某些特等鸿沟的GUI，本文形状的适用性可能有限。
第八章：相关职责
本文总结了现存的GUI生成和检索形状，指出了这些形状在生成低保真度布局和防碍交互性方面的局限性。本文提议的形状通过磋磨LLM和GUI仓库，权贵进步了GUI原型的生成后果。
第九章：论断与将来职责
本文提议了多种零样本教导形状，权贵进步了GUI原型的生成后果。额外是SCGG形状在大多数评估办法上发达优异。将来探讨不错进一步优化这些形状，进步其效力和适用性。
通过本文的探讨彩娱乐登陆网址入口官网，咱们为高保真GUI原型的自动生成提供了新的念念路和形状，权贵缩短了原型遐想的资本和期间干涉，为交互式系统的开拓提供了有劲营救。