介绍实习中的 GUI Agent 工作。

核心回答

可以围绕“让模型在真实界面中完成多步任务”介绍，再落到自己的工作模块。下面以桌面软件中的文件编辑与导出任务为参考，具体职责和结果可结合个人经历调整。

GUI Agent 接收用户目标和当前截图，由视觉语言模型理解界面、定位控件并生成点击、输入、滚动等动作；执行器操作应用后，把新的截图和执行结果交回模型，继续判断下一步。项目通常包括模型与动作协议、执行环境、轨迹数据处理，以及训练和评测几部分。

如果主要负责数据或后训练，可以把贡献讲成一条具体链路：整理截图与动作对齐的轨迹，修复标注和终止状态，构建 SFT 数据；再根据真实交互中的失败，补充纠错样本或进行多轮强化学习，并用独立任务验证完成率。 难点既包括小图标定位，也包括长任务偏离目标、执行后状态变化，以及“模型说完成了，但应用里其实没完成”。

项目怎样运行

用户提出“修改文档标题并导出 PDF”后，模型需要先识别当前软件和文档状态，找到编辑入口，再执行输入、保存和导出。执行器负责把模型动作转换成真实鼠标键盘操作，记录动作是否执行、界面是否变化，并采集后续观察。

这里要对齐截图坐标、缩放比例和真实显示区域。截图缩小后，预测坐标需要映射回执行环境；页面滚动、窗口移动或弹窗出现后，旧坐标也可能失效。对加载、动画和网络等待，应获取新的状态再继续，避免连续按旧画面操作。

纯视觉方案适合无法获得 DOM 或标准接口的界面；若项目允许使用可访问性树、DOM、文件接口或 API，也可以与视觉结合。选型要说明目标软件、可获取信息和部署限制，而不是把纯截图路线当成所有项目的唯一方案。

数据后处理为什么是实际贡献

一条可用轨迹需要把任务目标、每步动作前的观察、动作及参数、执行后的结果和最终任务状态关联起来。只保留“点击了哪里”，缺少对应截图或目标，就很难判断这一步是否合理。

数据处理可以具体展开为：

• 对齐与规范化： 统一不同设备的动作表示，检查截图与动作时间顺序、坐标尺度、输入内容和应用版本，修复错位或缺帧。
• 质量筛选： 清除重复、无效和目标不清的轨迹；区分成功示范、失败记录与纠错示范，避免把失败中的错误动作直接当成正确答案。
• 补充难例： 对相似图标、小控件、弹窗遮挡、操作无响应等失败分类，补充能区分控件语义和界面变化的数据，再检查对应能力是否改善。
• 划分与追溯： 保留采集、标注和处理版本，按任务模板、应用或站点划分训练与评测，减少近似轨迹跨集合造成的虚高成绩。

例如，模型把“分享”图标误认为“导出”，应检查局部图像是否清楚、标注是否一致、相似图标负例是否不足，以及正确动作后的状态能否识别。单纯重复增加同一张成功截图，可能只让模型记住布局。

SFT、交互训练和异步采样各解决什么

SFT 通过高质量示范，让模型学习如何根据任务、历史和当前观察生成合理动作，也能学习多步顺序与纠错。它并不限于动作格式；但训练轨迹覆盖有限，实际执行一旦偏离示范，模型仍可能遇到没见过的状态。

如果项目进一步采用多轮 RL，就让策略在环境中执行任务，依据结果和必要的过程信号更新。PPO、GRPO 等算法的选择，需要结合奖励是否可验证、轨迹长度、优势估计及计算成本解释，不能只列算法名称。并非每个 GUI 项目都需要训练模型，已有模型加执行与评测也可以构成完整应用。

异步 rollout 主要解决不同任务耗时差异大、整批等待长尾样本的问题。多个环境持续交互，完整轨迹进入样本池，训练侧按批次消费，未完成轨迹保留其环境状态。并行的是不同任务或环境；同一任务仍要按照动作与反馈的因果顺序推进。

同时要管理策略版本和数据新鲜度：记录轨迹由哪个版本采样、等待了多久，并按算法处理旧策略数据。提高环境吞吐并不自动提高有效训练速度，还要观察环境失败、轨迹有效率、样本陈旧程度和训练稳定性。

怎样判断任务完成，避免奖励被钻空子

模型输出结束动作，只表示它提出结束；任务成功还要看目标状态。 对文件导出任务，可以检查目标文件是否存在、能否打开、内容和格式是否满足要求。只检测“导出成功”提示或让模型自己声称完成，可能漏掉文件路径、内容或格式错误。

有明确状态接口的任务，优先用程序验证；开放式任务可结合截图、轨迹和产物使用模型评分，再用人工标注样本检查误判。评测器可以访问验证所需的状态，但这些信息不一定作为策略模型的输入。

奖励要围绕真实目标设计。若只奖励点击次数少，模型可能提前结束；若每个“执行成功”的点击都加分，模型可能反复操作刷分。可以在结果正确的前提下考虑效率，对无进展重复动作设置限制，并抽查高奖励却未完成的轨迹。必要的中间奖励帮助长任务学习，但不能用它替代最终任务验证。

实习介绍怎样落到个人职责和结果

先说明承担的模块，再用一个问题串起改动与验证。例如，数据方向可以讲“发现相似图标混淆，回查轨迹与标注，补充难例并调整筛选，再对固定任务集做分组评测”；训练方向则进一步解释样本进入训练的方式、奖励来源及一次退化的定位。

结果可以包括完成的数据处理流水线、支持的任务类型、可复现的评测和解决的具体问题。有实验记录时，再给出同一任务集、模型与执行预算下的前后表现，并结合耗时、动作数和失败类型解释变化。这样面试官能看清个人工作如何影响整个系统。

常见追问

为什么选 2B 这类小模型？

可以从端侧或私有部署资源、响应延迟和调用成本解释动机，再比较小模型与更强基线在目标界面上的定位和任务完成能力。参数少不是充分理由；如果任务依赖精细视觉和长程推理，应说明能力缺口怎样通过数据、输入分辨率或系统设计弥补。

单步准确率提高，为什么整条任务不一定更好？

长任务会累积错误，还受恢复、等待和终止判断影响；单步评测通常给定正确历史，在线执行却可能进入错误状态。因此需要同时看控件定位、单步动作和端到端任务完成情况，按轨迹长度与错误类型分析。

模型更新后效果反而下降，先查哪里？

固定任务、环境和执行预算复现，先区分模型动作变化与执行环境变化，再检查数据版本、难例配比、奖励误判、旧策略样本和终止行为。训练奖励上涨而独立任务完成率下降时，要重点排查评测偏差与奖励漏洞。

对应教程

参考资料