# M7｜交互式与具身智能体：GUI/Web/机器人操作与导航

## 0. 方向速览

GUI/Web/机器人智能体在 2024–2026 完成了一次范式跃迁：从"单步 grounding 刷分"（Mind2Web/ScreenSpot 时代）演进到"原生 agent 模型 + 数据飞轮 + 多轮 RL + 真实环境评测"（UI-TARS-2/UI-Venus/Qwen-UI-Agent 时代）。方向目前卡在四件事上：① **评测危机**——offline grounding/step-SR 已接近饱和（ScreenSpot-v2 90%+），而 online 任务成功率仍远低于人类（OSWorld 47.5% vs 人类 72.4%），两套数字严重脱节，且 grounding 坐标在小扰动下剧烈漂移（MVP 证据）；② **数据瓶颈**——人类轨迹昂贵、合成数据与真实行为错位，社区转向视频/手册挖掘；③ **对抗性 UI**——弹窗/小字/广告注入的攻击成功率可达 51%–100%，防御基本空白；④ **长时程错误累积**与状态管理。在 8×L40 与工业界万台真机、10B-token mid-training 拼规模必死，差异化必须落在评测方法论、防御安全、数据效率与机制洞察上。本报告评析 16 篇 CVPR2026 论文，调研外部谱系与 SOTA，提炼 8 条 open gap，给出 6 个选题。

---

## 1. 论文逐篇评析

### [P34] GUIDE: A Benchmark for Understanding and Assisting Users in Open-Ended GUI Tasks
- **核心贡献**：把 GUI agent 评测从"替用户完成任务"转向"理解用户正在做什么、为什么，并决定何时/如何提供帮助"，发布 67.5h 新手真实操作录屏（含 think-aloud 旁白、10 款软件、120 用户），定义 Behavior State Detection / Intent Prediction / Help Prediction 三个任务。
- **优点**：① 用 think-aloud 给"用户意图"提供了天然的弱监督标签，这是自动化基准拿不到的信号；② 三个任务从感知行为状态到推理目标再到决策帮助，任务链设计合理；③ 核心发现（模型全灭 + 提供 user context 后 Help Prediction 涨 50.2pp）直接证明"理解用户"是当前 VLM 盲区；④ 数据与代码开源，可复现。
- **不足**：① think-aloud 是训练期的拐杖——真实部署没有旁白，测试时意图从哪来（仅凭屏幕流推断）才是真问题，论文没有给出无旁白设置下的性能；② 帮助预测的"正确帮助"标签依赖事后标注，主观性强且可能 gameable；③ 120 用户全部是新手、仅 10 款软件，长尾软件的意图推断未覆盖；④ 只做离线评测，没有把"帮助"接入真实执行闭环验证对任务进展的实际增益。
- **可延展信号**：把"何时该帮"训练成可执行策略（见 Idea 6），并验证帮助时机对用户任务完成度与自主性的因果影响。

### [P43] LaSM: Layer-wise Scaling Mechanism for Defending Pop-up Attack on GUI Agents
- **核心贡献**：系统研究弹窗式环境注入攻击如何改变 GUI agent 的注意力行为，发现正确/错误输出间存在逐层注意力发散模式，据此提出免训练的逐层缩放机制（选择性放大关键层的 attention 与 MLP），不重训即提升防御成功率。
- **优点**：① 诊断性发现"注意力错位是 MLLM agent 的核心脆弱点"，机制层面有洞察；② 免训练、可插拔、对通用能力几乎无损，工程价值高；③ 多数据集验证且声称强鲁棒。
- **不足**：① 只覆盖"弹窗"这一类环境注入，fine-print 小字注入、广告注入、伪造对话框等攻击类别未验证——而这些恰恰是 2025 攻击文献的主流；② 层选择与缩放系数的手工设定无自动准则，换攻击/换模型需要重新调；③ 免训练调制只改善 saliency 对齐，若攻击内容与任务相关性强（如"帮助性"注入），缩放无法识别；④ 缺防御误报率与正常任务成功率的下界报告，鲁棒性数字说服力打折。
- **可延展信号**：把"注意力发散"从事后调制升级为**事前检测闸门**（见 Idea 2），用层间注意力一致性与视觉新颖性联合判据做动作前的安全拦截。

### [P45] Watch and Learn: Learning to Use Computers from Online Videos
- **核心贡献**：把"从在线视频学用电脑"形式化为逆动力学问题（由连续两帧屏幕状态反推中间动作），配合任务感知的视频检索，无需人工标注产出 53K 条可执行 UI 轨迹，既作 in-context 示例又作 SFT 数据，在 OSWorld 提升通用与专用 CUA，并在 WindowsAgentArena 15 步限制下达到 7B 规模 SOTA。
- **优点**：① 数据源（人类真实使用视频）非合成、非人工标注，规模可扩展，直击 CUA 数据瓶颈；② 逆动力学单步形式化显著降低标注复杂度且跨域泛化好，避免了逐动作 MLLM 标注的脆性；③ 轨迹同时用于 in-context 与 SFT，双路验证价值；④ 明确量化（OSWorld 最高 +11pp、WAA 7B 级 SOTA），数字扎实。
- **不足**：① IDM 只覆盖基础动作（无拖拽/双击/组合键），GIMP/Chrome/VLC 外的复杂软件动作恢复不了；② YouTube 教程视频的分布偏"一次性正确示范"，几乎没有失败/尝试/恢复过程，而恢复能力恰是 CUA 最大短板；③ 视频帧率与光标渲染差异引入动作标签噪声，论文未测标签噪声对训练的敏感度；④ 轨迹缺少语言指令（检索只能粗粒度对齐任务），无法直接做 goal-conditioned 训练。
- **可延展信号**：用 ASR 旁白给轨迹补语言目标，并按"转移信息量"排序做课程学习，把挖掘范围从教程扩展到含失败与尝试的真实录屏（见 Idea 3）。

### [P52] AVA-VLA: Improving Vision-Language-Action models with Active Visual Attention
- **核心贡献**：把 VLA 策略学习显式重述为 POMDP，用循环状态逼近 agent 对任务历史的 belief，并据此对当前观测的视觉 token 做动态重加权（Active Visual Attention），LIBERO/CALVIN 达 SOTA 并迁移到真实双臂操作。
- **优点**：① 正确指出逐帧独立处理是操作任务的建模错误（真实操作部分可观测），用 belief 状态统一历史信息，概念干净；② 注意力重加权几乎零额外推理成本，是 token 效率与性能的双赢；③ 从 LIBERO/CALVIN 到真机双臂都有验证，跨度完整。
- **不足**：① LIBERO 已近饱和（多个 0.5B 模型长程任务都到 95%+），SOTA 数字的边际说服力在下降；② 注意力重加权在"历史误导"场景（环境变化使旧历史失效）下会放大错误，未讨论该反例；③ 与 LightVLA/视觉 token 剪枝系方法边界模糊——都是"按任务相关性选 token"，缺与剪枝方法的直接对比；④ belief 循环状态的初始化与训练稳定性细节缺失。
- **可延展信号**：把 active visual attention 迁移到 GUI grounding 的不稳定问题（与 MVP 的扰动脆弱性对照），或作为 Idea 5 目标想象的条件模块。

### [P57] Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs
- **核心贡献**：用外部数据源构建知识图谱作为"结构化任务空间"，通过子图采样 + 元路径 + 模板生成多模态 agent 任务，再经节点可达性分析、LLM 打分、相似度去重的多级过滤保证可解性与多样性，产出 1319 任务的 Graph2Eval-Bench，覆盖 RAG 文档理解与多步 web 交互。
- **优点**：① 正面回应"LLM 直接生成任务存在语义不一致与不可解"的问题，用 KG 约束任务空间是合理处方；② 节点可达性分析给了"任务可解"一个可计算下限，比纯 LLM 判题更可靠；③ 统一 RAG 与 Web Agent 两类场景，benchmark 发布。
- **不足**：① KG 质量决定任务空间上限，构建成本高、覆盖有限，模板+元路径的组合会迅速饱和出新意；② 过滤管线仍依赖 LLM 打分，幻觉风险只是被压制未被消除；③ "solvability +20%"的对照基线是什么、怎么测的，论文表述不清；④ 1319 个任务规模偏小，且未证明生成任务难度可分档（无法支撑课程学习）。
- **可延展信号**：把 KG 生成的任务与"难度估计"绑定（meta-path 长度/子图规模→难度），产出可控制难度的评测课程，直接喂给 WebRL 式自演化训练。

### [P63] iSHIFT: Lightweight Slow-Fast GUI Agent with Adaptive Perception
- **核心贡献**：2.5B 轻量 GUI agent，用隐式 CoT（latent thinking）+ 感知控制模块，通过特殊感知 token 引导注意力，在慢速（细粒度 grounding）与快速（全局线索）两档之间自适应切换，多个基准追平 SOTA。
- **优点**：① 效率立意明确——GUI 任务大多例行、少数需精确定位，按需分配算力合理；② 2.5B 小模型追平大模型说明数据/训练策略的杠杆大于参数规模；③ 感知 token 把"看哪里"显式化，可解释性好。
- **不足**：① "追平 SOTA"在哪些基准、差多少 pp、对比基线是谁，均表述模糊，且无 online 评测（OSWorld/AndroidWorld 缺位）；② 慢/快切换的触发信号不明确——用什么判据决定该慢想？③ 与 MVP 的多视图、LightVLA 的 token 剪枝同属"按需感知"家族，边界未划清；④ 隐式 CoT 的"隐式"意味着不可控，慢模式是否真做 grounding 推理无证据。
- **可延展信号**：把慢/快切换做成**不确定性驱动的计算分配**，并让"慢模式"在检测到对抗性 UI（弹窗）时自动触发——效率与安全一体（与 Idea 2 可合并）。

### [P65] BridgeEQA: Virtual Embodied Agents for Real Bridge Inspections
- **核心贡献**：提出 Inspection EQA 作为 episodic-memory EQA 的新问题类（多尺度推理 + 长程空间理解 + 专业报告接地），发布 200 真实桥梁场景、2200 开放词汇 QA（OpenEQA 风格）基准，提出 Image Citation Relevance 指标，并给出 MDP 化的 EMVR 方法。
- **优点**：① 选择一个有专业报告做接地、评测标准化的真实领域，规避了 EQA 基准"问题主观"的通病；② 开放词汇 + 引用证据图像，评测维度比纯答案匹配严格；③ 新指标 Image Citation Relevance 指向"模型能否给出证据"这一关键能力。
- **不足**：① 领域单一（桥梁），方法/结论向通用 EQA 迁移的证据缺失；② 2200 QA 从专业报告挖掘，报告本身的表述可能泄漏答案，未见泄漏分析；③ Image Citation Relevance 与人类判断的相关性未验证；④ EMVR 的 MDP 化与既有 active EQA 方法的边界不清，收益主要来自基准本身。
- **可延展信号**：把"多尺度 + 证据引用"评测协议扩展到基础设施巡检（管道/道路/电网），并引入主动视角选择（哪里没看全）作为新的评测维度。

### [P78] DRAMA: Next-Gen Dynamic Orchestration for Resilient Multi-Agent Ecosystems in Flux
- **核心贡献**：面向 agent 随时加入/退出/恢复的动态环境，提出多层编排框架（亲和力调度 + 层级信任链任务接管 + 集体空间智能），在 VirtualHome-Social 中实现事件触发重调度与去中心化故障恢复。
- **优点**：① 把"环境与任务规格动态变化"当作一等公民建模，比静态 MAS 架构更贴近部署现实；② 信任链任务接管机制对 agent 失联有明确容错语义；③ 系统级指标（运行效率 +7%、吞吐 +10%）与稳定性报告完整。
- **不足**：① 只在 VirtualHome-Social 仿真验证，且指标是系统级（吞吐/时延）而非任务成功率——编排变快不等于任务完成得更好；② 亲和力调度的机制不透明（无消融证明"亲和力"优于随机/轮询）；③ 未与真实 GUI/web 多 agent 场景对接（如多浏览器/多设备协作）；④ 增益（7–10%）偏小，可能有 ceiling 效应。
- **可延展信号**：把动态编排搬到 GUI 场景——多终端（浏览器 + 手机模拟器 + 桌面）的弹性协作，故障恢复语义用 OSWorld/AndroidWorld 任务成功率重新度量。

### [P80] From Manuals to Actions: A Unified VLA Model for Chain-of-Thought Manual Generation and Robotic Manipulation
- **核心贡献**：提出 ManualVLA——Mixture-of-Transformers 架构，规划专家先为"目标状态"生成多模态手册（图像 + 视觉提示 + 文本指令），动作专家再按手册逐步执行（ManualCoT）；用 3DGS 数字孪生工具包自动生成手册训练数据；LEGO 组装与物体重排上比分层 SOTA 高 32% 平均成功率。
- **优点**：① 显式中间表示（手册）让长时程任务的"what→how"过程可解释、可干预；② MoT 分离规划与执行，避免单模型角色耦合；③ 3DGS 数字孪生造数据显著降低手册数据采集成本；④ 长时程任务收益大（+32%），机制方向正确。
- **不足**：① 评测在自建 LEGO 任务上，无标准 benchmark（LIBERO/VLABench），跨论文不可比；② 手册生成成本可能高于直接出动作，未见推理延迟对比；③ 3DGS 数字孪生与真实域存在渲染 gap，手册的 sim-to-real 质量未测；④ "分层 SOTA"未具名，+32% 的可信度打折。
- **可延展信号**：把"手册"换成可被仿真验证的**视觉目标想象**（见 Idea 5），并在标准 VLABench/LIBERO 上评测，摆脱自建任务的可比性缺陷。

### [P85] Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation
- **核心贡献**：用执行反馈 RL 训练两个高层模块——Coordinator（策略规划与任务分解）与 State Tracker（上下文压缩与状态保持），与任意低层 Executor 组成 CES 多智能体框架，plug-and-play 提升长时程任务。
- **优点**：① 明确"高层规划能力与低层执行能力耦合冲突"是长时程失败根源，分工合理；② State Tracker 直接解决长时程的上下文膨胀与进度丢失；③ 模块可插拔，可在不同 Executor 上复用，泛化性好。
- **不足**：① "长时程基准"未具名（OSWorld？AndroidWorld？），数字可信度打折；② State Tracker 的压缩质量是瓶颈，但压缩错误如何传播/恢复未讨论；③ 执行反馈 RL 的奖励信号细节缺失，是否复用环境 SR 未明；④ 多 agent 架构引入额外推理开销，token 成本未核算。
- **可延展信号**：把 State Tracker 升级为**可预测状态摘要器**（世界模型，见 Idea 4）——预测执行动作后的状态增量，用预测误差做恢复触发器，压缩与恢复一体。

### [P103] See, Think, Act: Teaching Multimodal Agents to Effectively Interact with GUI by Identifying Toggles
- **核心贡献**：定位到"开关类控件"这一高发失败模式（尤其当当前状态已等于目标状态时 agent 仍去切换），构造状态控制基准，提出 StaR 状态感知推理（感知当前态→推断目标态→按需动作），在四个 agent 上平均提升 30%+ 开关指令准确率。
- **优点**：① 指出了一个具体、可复现、且高发的控制失败类别，比泛泛的"鲁棒性"研究有靶心；② 基准从公开数据集构建，可复现性好；③ StaR 不仅提升开关任务，还带动三个通用 agentic 基准，说明"先看状态再动作"具有通用价值。
- **不足**：① toggle 只是控件的一小类，slider/radio/级联菜单的同类问题未覆盖；② StaR 的增益高度依赖 VLM 的状态感知准确率——而状态感知恰是难点（论文没解决"看错状态"的情形）；③ 动态环境评测规模小，防过拟合证据不足；④ 与已有的"grounding 前先读状态"类 prompt 工程边界模糊。
- **可延展信号**：把"执行前状态验证"泛化为通用的动作安全检查（任何动作前先验证前置状态），与弹窗防御合并成统一安全闸门（见 Idea 2）。

### [P104] OS-Oracle: A Comprehensive Framework for Cross-Platform GUI Critic Models
- **核心贡献**：填补 GUI critic 空白——可扩展的跨平台 critic 数据合成管线（四类失败模式扰动黄金轨迹）+ SFT + 一致性保持 GRPO（CP-GRPO）两阶段训练，发布 310k critic 样本与 OS-Critic Bench，OS-Oracle-7B 在移动域超过专有模型，作为 pre-critic 提升 UI-TARS-1.5-7B 的 OSWorld/AndroidWorld 表现。
- **优点**：① 第一次把"动作前批评"做成跨平台可训练模型 + 公开基准，方向价值大；② 规则化合成负样本比 GPT 生成更干净，四类失败模式（操作失败/错误恢复/提前终止/定位错误）覆盖面合理；③ CP-GRPO 解决"推理与判断不一致"（reasoning-judgment mismatch），机制具体；④ 作为 pre-critic 提升 agent，端到端验证了价值。
- **不足**：① 68% 的 critic 准确率对"执行前把关"这个用途仍太低——误拦会伤害正常任务，论文没给误报对 agent 的净收益分析；② 合成负样本与真实执行失败的分布差距未测；③ critic 每步一次推理，延迟/token 成本翻倍未核算；④ 只做单步批评，不做多步计划级评估（critic 的 next step 该批评什么缺乏讨论）。
- **可延展信号**：critic 分数可当**过程奖励**喂给 RL（替代稀疏 SR），或把 critic 与 Idea 1 的离线代理指标结合——critic 判"这步对不对"、SCoRe 判"整体会不会漂移"。

### [P107] CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning
- **核心贡献**：揭示 SFT 在 GUI 持续学习中引发知识覆盖而 RL（GRPO 式）天然抗遗忘，据此提出 CGL——按策略熵动态调节 SFT/RL 比例 + 梯度手术（把冲突 SFT 梯度投影到 GRPO 锚定梯度上），并发布 AndroidControl-CL 分任务组持续学习基准。
- **优点**：① "SFT 会覆盖、RL 更抗遗忘"是经验性且可复现的洞察，解释力强；② 熵驱动比例调节免去人工权衡；③ 梯度手术的几何直觉清晰（剔除与 RL 冲突的 SFT 分量）；④ AndroidControl-CL 把 app 分组模拟更新流，评测设置合理。
- **不足**：① 连续学习只在 Android 单平台验证，桌面/网页的 app 更新流（UI 重构型更新而非任务新增）未覆盖；② GRPO 锚定梯度依赖任务组内奖励，组间漂移大时锚定失效；③ 遗忘度量只有任务准确率，无技能/行为层面的遗忘分析；④ 与标准 continual learning 方法（EWC/KD/重放）的对比缺失，边界未划清。
- **可延展信号**：把"持续 GUI 学习"与**界面版本差异学习**绑定——同一 app 不同版本间的 UI 迁移（新按钮/新布局）作为天然的持续学习流，比任务分组更贴近真实更新。

### [P117] Learning to Adapt: Self-Improving Web Agent via Cognitive-Aware Exploration
- **核心贡献**：提出 SCALE——Selector/Predictor/Judger 三个对抗角色自主发现 agent 能力边界并扩展认知范围，SCALE-Hop 图探索策略避免局部陷阱，产出 19 个真实网站的 SCALE-20k 自生成数据集，提升多个 MLLM 的 web 表现。
- **优点**：① 不依赖专家轨迹的自主探索-学习闭环，是数据自主性的正确方向；② SCALE-Hop 用图规划避免"卡在一个页面里打转"，机制具体；③ 20k 数据集公开，对社区有价值；④ 多 MLLM 上都涨，泛化性好。
- **不足**：① 自我改进有"自满陷阱"——Judger 若被同一模型主导，探索会收敛到模型已擅长的任务；② 自生成轨迹质量无人类校验，易把错误模式强化；③ 19 个网站覆盖面窄，且只测 web 未测 OS/移动；④ 与 UI-TARS-2 的 data flywheel、WebRL 的自演化课程边界模糊，增量需要更清晰的定义。
- **可延展信号**：把 Self-improving 加**安全约束**（探索轨迹也要过安全闸门），或把 Selector 难度估计输出给评测——自动区分"探索已覆盖"与"能力缺口"，为在线评测做样本选择。

### [P125] MVP: Multiple View Prediction Improves GUI Grounding
- **核心贡献**：观察到 grounding 模型的坐标预测在微小视觉扰动（裁几像素）下剧烈翻转，据此提出免训练多视图推理——注意力引导的视图提案 + 多坐标聚类取最密簇中心，在 ScreenSpot-Pro 上把 UI-TARS-1.5-7B/Qwen3VL-8B/Qwen3VL-32B 分别提升到 56.1%/65.3%/74.0%。
- **优点**：① 揭示了一个此前未被量化的病理：单视图坐标预测的不稳定性，且给出跨模型证据；② 免训练、可插拔，工程成本低；③ 注意力引导视图提案 + 密度聚类是合理的集成策略；④ 在困难的 ScreenSpot-Pro 上显著涨点，数字硬。
- **不足**：① 只治标不治本——训练时模型仍然不稳，多视图是推理期补丁；② 推理成本乘多倍（多视图），未报延迟预算；③ 注意力引导依赖 attention 质量，弱模型上 attention 本身就不稳，增益可能来自"平均"而非"引导"；④ 只验证 grounding 单步，未验证对完整 agent 任务成功率的上游增益。
- **可延展信号**：把"扰动不稳定性"变成**训练期一致性正则**（扰动增强 + 一致性损失），从根上提高 grounding 稳定性，并把稳定性指标（扰动下的坐标方差）作为 grounding 的第二评测维度（与 Idea 1 的评测危机呼应）。

### [P174] GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation
- **核心贡献**：提出 GA-BEV——由 RGB-D 投影到 3D 聚合而成的 agent-centric BEV 表征，融合预训练 3D 基础模型的结构先验（隐式几何），压缩视觉 token 冗余的同时保持空间一致性，仅用导航数据（无 DAgger、无混合 VQA）即达 SOTA。
- **优点**：① BEV 化显著削减 MLLM 视觉 token 数，token 效率与空间推理双收；② 显式深度投影 + 隐式 3D 先验的互补设计有机制合理性；③ 数据效率主张（不依赖 DAgger/VQA 混合）被实验支持；④ 在 VLN-CE 系基准有竞争力。
- **不足**：① 依赖 RGB-D 输入——深度传感器约束了部署面，与主流纯 RGB 导航（NaVid/StreamVLN）不可直接对比；② BEV 离散化会丢失细节（细粒度指令"绕过茶几左边"）；③ 3D 基础模型推理额外成本未核算；④ 与 BEVBert/ETP 的 BEV/拓扑地图谱系边界需要更清晰（"隐式 3D 先验"是主要增量）。
- **可延展信号**：把 BEV token 压缩思路与**主动感知**结合——在低置信区域请求新的深度视角，或把 GA-BEV 迁移到 GUI 长页面（把滚动截屏拼成"页面 BEV"）。

---

## 2. 方向发展态势

### 2.1 技术演进脉络

1. **Grounding 中心范式（2023–2024）**：Mind2Web (NeurIPS'23)、CogAgent (CVPR'24)、SeeClick (ACL'24)、ScreenSpot 系把"指令→像素/元素"当作 GUI 智能体的核心能力来训练与评测。解决的问题：模型"点不对"。引入的新问题：grounding 分数高与任务成功严重脱节——Mind2Web 上 GPT-4 系 step 正确率高但端到端成功率低。
2. **纯视觉 GUI agent + 合成数据（2024–2025）**：SeeAct-V/UGround (ICLR'25)、GUICourse (ACL'25)、ShowUI (CVPR'25)、OmniParser、OS-Atlas、Aria-UI 主张摆脱 HTML/A11y 树，用纯截图 + 大规模合成 grounding 数据（UGround 1.3M 截图/10M 元素）。解决的：DOM 噪声与解析成本。引入的：合成数据与真实行为的错位、高分辨率小元素的坐标不稳定（MVP 证伪）、grounding 与 online 能力仍割裂。
3. **原生 agent 模型 + 数据飞轮 + 多轮 RL（2025–2026）**：AutoGLM、UI-TARS/UI-TARS-2、UI-Venus-1.5、Qwen-UI-Agent 把感知-推理-记忆-动作压进单一 MLLM，用云端真机沙箱做数据飞轮与多轮 RL。解决的：跨平台泛化与端到端能力。引入的：**基础设施门槛爆炸**（万台设备、10B-token 领域预训练）、评测被自己的数据飞轮污染、step-trace gap（UI-Venus-1.5 明确指出 offline step-level 涨而 trace-level 先升后降）、安全攻击面扩大。
4. **web/OS agent 的轨迹级强化学习（2024–2025）**：WebRL (ICLR'25)（自演化课程 + ORM + 回放）、AgentQ（MCTS + AI critique + DPO）、DigiRL、AgentGym、GRPO 泛化到 agent。解决的：稀疏奖励与训练任务稀缺。引入的：online 环境工程成本、奖励被劫持/过拟合、rollout 基础设施需求。
5. **评测危机与评测方法论觉醒（2025–2026）**：OSWorld-Verified（AWS 50× 并行、修坏例）、OSWorld-Human（agent 步骤数是人类 1.4–2.7×）、ScreenSpot-v2（清理 11.32% 坏样本）、UI-Venus-1.5 的 step-trace gap、GUIDE（意图理解转向）、OS-Oracle（critic 评测）。信号：**社区开始承认"单数字刷榜"不可信，评测本身成为研究对象**。
6. **机器人 VLA 体系化（2024–2026）**：RT-2 (CoRL'23) → OpenVLA (CoRL'24) → π0/π0.5（flow matching 动作专家）→ GR00T N1（VLM+DiT 动作头）→ HybridVLA/CogACT/FAST。动作表示从离散 bin 到 flow/diffusion，架构从"系统 1"到"系统 2/3"分层。引入的：数据稀缺（真实机器人示教贵）、LIBERO 饱和、长时程协调缺口、评测转向 VLABench/真机。
7. **VLN 的 LLM/VLM 化与 R1 化（2024–2026）**：NavGPT (AAAI'24) → NavGPT-2 (ECCV'24) → VLN-R1（RFT 后 2B 超 7B SFT，跨域数据效率惊人）；BEVBert/DUET 的地图化 → 流式连续控制（StreamVLN/NaVid）+ 测试时主动适应（ATENA, NeurIPS'25）。引入的：动态遮挡、连续控制与真实部署仍未闭环。

### 2.2 关键外部文献（≥15 篇）

| 文献 | 年份/会议 | 一句话贡献 | 与本方向关系 |
|---|---|---|---|
| Mind2Web | NeurIPS'23 | 137 真实网站 2350 任务的多步 web 数据集 | 离线 web agent 评测基石 |
| CogAgent | CVPR'24 (842 引) | 高低分辨率双编码 VLM，GUI agent 早期标杆 | grounding 中心范式代表 |
| OSWorld | NeurIPS'24 (1063 引) | 369 个真实 OS 开放任务；人类 72.4%，发布时最优模型 12.2% | online 评测事实标准 |
| ScreenSpot-Pro | ACM MM'25 (260 引) | 高分辨率专业软件 grounding 基准 | grounding 困难档 |
| ScreenSpot-v2 | NeurIPS'25 相关 | 清理 11.32% 坏样本，1272 例 | grounding 评测清理代表 |
| SeeClick | ACL'24 (596 引) | grounding 训练 + 纯视觉 agent | grounding 方法谱系 |
| ShowUI | CVPR'25 (243 引) | 一个 VLA 模型做 GUI 视觉 agent | GUI VLA 化代表 |
| UGround | ICLR'25 Oral | 1.3M 截图/10M 元素合成 grounding 数据 | 合成数据范式代表 |
| OmniParser / V2 | arXiv'24 (204 引) | 纯视觉 GUI 解析为可交互元素 | 感知管线 |
| AppAgent | CHI'24 (504 引) | 手机 agent 自主探索 + 应用操作 | 移动 agent 谱系 |
| AutoGLM | arXiv'24 (92 引) | 自研移动/网页 GUI foundation agent | 原生 agent 代表 |
| UI-TARS / UI-TARS-2 | arXiv'25 | 原生 GUI agent + 数据飞轮 + 多轮 RL（Online-Mind2Web 88.2 / OSWorld 47.5 / AndroidWorld 73.3） | 2025 工业界 SOTA 上限参照 |
| UI-Venus-1.5 | arXiv'26 | 四阶段（Mid-Training/Offline-RL/Online-RL/Merge），**量化 step-trace gap** | 评测危机的直接证据 |
| WebArena | ICLR'24 | 自托管可复现 web 环境（GPT-4 14.4%→CUGA 61.7% 2025） | online web 评测 |
| WebVoyager | 2024 | 15 个真实网站端到端 web agent + GPT-4V 判题 | online web 评测 |
| WebRL | ICLR'25 | 自演化在线课程 RL，8B 在 WebArena-Lite 4.8%→42.4% | 轨迹级 RL 代表 |
| AgentQ | arXiv'24 | MCTS 搜索 + AI critique + DPO 离线训练 | web agent RL 谱系 |
| Windows Agent Arena | arXiv'24 | 150+ Windows 真实任务 | 桌面评测 |
| AndroidWorld | ICLR'25 | 116 参数化任务 + 持久性系统状态奖励 | 移动在线评测 |
| AndroidControl | NeurIPS'24 (194 引) | 15k 移动控制任务 + 数据规模效应研究 | 移动离线训练/评测 |
| OSWorld-Human | arXiv'25 | 人类轨迹基准，agent 步骤数 1.4–2.7× 人类 | 效率维度评测 |
| GUICourse | ACL'25 (72 引) | GUIEnv/GUIAct/GUIChat 三数据集训练管线 | 训练数据谱系 |
| GUIOdyssey | ICCV'25 | 8,834 跨 app 移动导航人类演示 | 跨 app 数据 |
| Fine-Print Injection | arXiv'25 | 小字/低显著性 UI 文本注入攻击，GUI agent 高易感 | 对抗性 UI（Idea 2 靶点） |
| OS-Harm / RedTeamCUA | 2025 | 桌面安全基准 / 跨 web-OS 注入红队（secure 模式 ASR 仍 48%） | 安全评测 |
| RT-2 | CoRL'23 (3975 引) | VLA 开山：web 知识迁移到机器人控制 | VLA 起点 |
| OpenVLA | CoRL'24 (3105 引) | 开源 7B VLA（Prismatic + Llama-2） | VLA 基线参照 |
| π0 / π0.5 | arXiv'24/'25 | PaliGemma + flow matching 动作专家 | VLA 动作表示 SOTA 谱系 |
| RDT-1B | ICLR'24 (831 引) | DiT 双臂操作基础模型 | 双臂 VLA |
| GR00T N1 | 2025 | NVIDIA 人形 VLA（VLM + DiT 动作头） | 工业界 VLA 参照 |
| LIBERO | CoRL'23 | 5 套件操作基准（已近饱和） | VLA 评测 |
| VLABench | ICCV'25 | 长时程推理操作基准 | 新评测（Idea 5 靶点） |
| OpenEQA | CVPR'24 (366 引) | 具身 episodic-memory QA 基准（GPT-4V 48.5% vs 人类 85.9%） | BridgeEQA 参照系 |
| NavGPT / NavGPT-2 | AAAI'24 / ECCV'24 | LLM/VLM 显式推理导航 | VLN LLM 化 |
| BEVBert | ICCV'23 (167 引) | topo-metric 地图预训练导航 | GA-VLN 参照 |
| VLN-R1 | arXiv'25 | R1 式 RFT 连续导航，2B 超 7B SFT | VLN R1 化 |
| Agent S / Agent S2 | arXiv'24/'25 | Simular OS agent，OSWorld 72.6% [未验证] | 开源 OS agent 上限 |
| LearnGUI / LearnAct | 2025 | 一次示范学习提升手机 agent（离线 19.3%→51.7%） | 数据效率谱系 |

### 2.3 当前 SOTA 格局与主流评测

- **Grounding（offline 单步）**：ScreenSpot-v2 已近饱和——UI-AGILE-7B 92.1、LPO-8B 90.5、UI-TARS-72B 90.3、Qwen2.5-VL-7B 88.8；ScreenSpot-Pro（高分辨率难档）仍在 60–80 区间——Qwen-UI-Agent 81.5、MVP 增强 Qwen3VL-32B 74.0、UI-Venus-72B 61.9。**结论：在 ScreenSpot 系刷分已是红海，且 grounding 高分≠online 成功。**
- **Web online**：WebArena CUGA 61.7%（2025）；Online Mind2Web UI-TARS-2 88.2；Qwen-UI-Agent WebArena 73.6（含 CLI 混合动作）。WebArena 是事实标准但已被 RL 系（WebRL/AgentQ）与闭源碾压。
- **OS online**：OSWorld 人类 72.4%；UI-TARS-2 47.5、Agent S 声称 72.6 [未验证]、OSWorld-Verified 新口径下数字整体下修。WindowsAgentArena UI-TARS-2 50.6。
- **移动 online**：AndroidWorld UI-TARS-2 73.3、UI-Venus-1.5 77.6；AndroidControl 仍是主要训练源。
- **VLA**：LIBERO 近饱和（VLA-Adapter-0.5B 长程 95%、GeoVLA LIBERO-90 97.7）；VLABench（长时程推理）与 CALVIN 仍是有效分水岭；动作头格局是离散 bin（RT-2/OpenVLA 系）vs flow/diffusion（π0/RDT/GR00T 系）之争，FAST 用 DCT 压缩 token 试图调和。
- **VLN**：R2R-CE HSAN 64% SR；VLN-R1 证明 2B+RFT 数据效率惊人；连续/动态/真机未闭环。
- **评测方法论现状**：OSWorld-Verified 修口径、OSWorld-Human 加效率维度、ScreenSpot-v2 清坏例、UI-Venus-1.5 揭示 step-trace gap、GUIDE 转向意图理解、OS-Oracle 引入 critic 评测。**"评测本身"正在成为 2026 最有产出空间的子方向。**

### 2.4 方向级根本缺陷（Open Gaps）

1. **G1 — Offline/Online 评测脱节（评测危机）**：grounding/step-SR 离线指标与 online 任务成功率严重脱节，ScreenSpot-v2 90%+ 而 OSWorld 仅 ~50%；step-trace gap（UI-Venus-1.5）与坐标扰动不稳定（MVP）是具体证据。为什么没解决：online 评测贵、脆弱（网站变、环境崩），社区只能退回静态指标。重要：不解决则整个方向的数字不可信，开发循环（训练-评测-迭代）断裂。突破需要：能预测 online 成功的离线代理指标或低成本 online 协议。
2. **G2 — 高质量低成本训练数据**：人类轨迹贵、合成数据与真实行为错位、探索数据噪声大；视频（W&L）与手册（ManualVLA）是两条低成本新路但各有短板（无语言指令、动作类型受限）。为什么没解决：视频→(指令,轨迹) 的自动对齐难。重要：数据是 CUA 的第一瓶颈。突破需要：跨模态弱监督对齐 + 数据选择/课程理论。
3. **G3 — 对抗性 UI 防御空白**：弹窗/小字/广告/跨模态注入 ASR 高达 51–100%，LaSM 只防弹窗且免训练调制有限，工业界靠 RL 红队持续打补丁（OpenAI Atlas）。为什么没解决：攻击面是开放的、防御缺乏统一评测协议。重要：安全是部署的硬门槛，且**与 agent 方向交叉、竞争少**。突破需要：可叠加的免训练防御闸门 + 标准攻击/防御评测。
4. **G4 — 长时程错误累积与状态管理**：上下文膨胀、进度丢失、错误恢复能力弱；CES 的 State Tracker 是被动压缩，critic（OS-Oracle）只做单步把关。为什么没解决：GUI 状态空间高维、状态增量预测难。重要：真实任务全是长时程。突破需要：GUI 世界模型/可预测状态摘要器，把压缩、恢复、评测三件事统一。
5. **G5 — 持续适应与遗忘**：app 更新、个人工作流迁移；CGL 证明 SFT 会覆盖、RL 抗遗忘但只在单平台。为什么没解决：缺少"界面版本差异"作为天然持续学习流。重要：部署后模型必须与软件共同进化。
6. **G6 — VLA 长时程协调与目标状态推理**：LIBERO 饱和后缺新评测；ManualVLA 证明"what→how"手册有效但数据贵、无标准评测；VLA 动作头（离散 vs flow）无定论。为什么没解决：目标状态的可验证监督只在仿真有。重要：长时程是操作落地的天花板。突破需要：可验证 goal 监督 + 自生成目标想象。
7. **G7 — VLN 连续/动态/真实部署未闭环**：动态遮挡、长距离、sim2real；ATENA/Obstructed VLN 是开端。为什么没解决：真实环境评测成本高。重要：家用机器人导航落地。
8. **G8 — 人机协作范式缺评测与方法**：GUIDE 证明模型不理解用户意图、帮助预测失败，但"何时接管/何时提问/何时放手"没有可训练策略与在线评测协议。为什么没解决：协作的奖励函数（自主性 vs 完成度）难定义。重要：agent 从自动化走向协作是下一范式。

### 2.5 红海警告（不建议投入的子问题）

- **红海①：在 ScreenSpot/ScreenSpot-v2 上刷 grounding SOTA**。v2 已 90%+ 饱和，Pro 虽难但被 Qwen-UI-Agent/UI-Venus 系以 10B-token 领域预训练 + 万机数据飞轮占据；纯算法（MVP 之外）的边际收益已小，且 grounding 高分≠online 成功，审稿人会直接质疑。
- **红海②：训练 7B+ 原生 GUI agent 或大规模多轮 RL**（UI-TARS-2/UI-Venus/Qwen-UI-Agent 赛道）。需要云端真机沙箱（千台虚拟机/模拟器）、数据飞轮、领域预训练——8×L40 无此基础设施，与工业界拼数据和模型规模必死。可以复现/用其开源权重做下游研究，但不要正面竞争。
- **红海③：又一个静态 GUI 数据集/benchmark**。Mind2Web/OSWorld/AndroidWorld/ScreenSpot 系/GUIDE/CUB/REAL/WebBench/Westworld 已经过剩；新 benchmark 除非探测全新能力（如 G3 安全、G8 协作、G1 评测协议），否则难中稿（≤1 个 benchmark idea 的硬约束）。
- **红海④：WebArena/WebVoyager 上的又一轮 prompt/agent 框架工程**。WebRL/AgentQ/AgentGym 已把 RL 玩法做完，且闭源 API agent 上限更高；纯工程 scaffold 提升难有学术贡献。
- **红海⑤：VLA 在 LIBERO 刷 SOTA**。已近饱和（多方法 95%+）；无真机、无新评测维度、无机制洞察的 LIBERO 论文会被打回。
- **红海⑥：VLN 在 R2R/RxR 静态指令上继续堆模块**。NavGPT 系 + BEVBert 系 + DUET 系已密，增量模块论文风险高（除非 GA-VLN 式 token 效率或 VLN-R1 式数据效率有硬机制）。
- **蓝海（值得做）**：G1 评测危机（离线代理指标/低成本 online 协议）、G3 对抗性 UI 防御、G2 视频/手册跨模态数据挖掘、G4 GUI 世界模型与状态管理、G8 人机协作辅助策略、G6 可验证 goal 的 VLA 目标想象。本报告的 6 个 idea 全部落在蓝海。

---

## 3. 六个可扩展 Idea

### Idea 1：SCoRe —— 自我一致性 Rollout 代理指标：不执行环境也能预测 Online 成功率

- **一句话 Pitch**：不启动任何环境，仅用静态轨迹数据让 agent"自己接自己"跑 K 步自反馈，测出轨迹级漂移曲线，得到一个能预测 OSWorld/AndroidWorld online 成功率的离线代理指标。
- **切入的 Gap**：G1 评测危机 + MVP 坐标不稳定 + UI-Venus-1.5 的 step-trace gap + OSWorld-Human 步骤效率；直接回应"grounding 分数与任务成功率脱节"。
- **核心技术方案**：
  - 输入：任意 GUI 策略 π（截图+指令+历史→动作），静态语料 D={(s_t,a_t,s_{t+1})}（取 Mind2Web/AndroidControl/OSWorld 的公开静态轨迹）。
  - **自反馈漂移测量**：对每条轨迹做两种 rollout——teacher-forcing（历史用黄金动作）与 self-conditioning（第 t 步用 π 自采动作 â_t，下一步状态从语料中检索最接近 (s_t,â_t) 的转移）。定义第 t 步漂移 Δ_t = d(â_t^self, a_t^gold)，d 在动作空间上分解为坐标 L2（grounding 漂移）+ 动作类型/参数（规划漂移）。
  - **SCoRe 分数**：SCoRe = −Σ_{t=1..K} w_t·Δ_t，w_t 指数增长（建模长时程误差累积放大）。
  - 预测器：轻量线性/logistic 回归把 (SCoRe, grounding acc, step-SR) 映射到 online SR，评估其预测力。
  - 与现有指标 delta：grounding/step-SR 是单步静态；SCoRe 是轨迹级自反馈灵敏度，且**不需要任何真实执行环境**——这是它与 OSWorld 在线评测的本质区别（低成本、可并行、网站变更免疫）。
- **Novelty Argument**：审稿人最可能说"这是 teacher-forcing vs free-running 的老问题（exposure bias）"。反驳：① 首次把 exposure bias 变成 GUI agent 的**标准化可报告代理指标**并实证其与 online SR 的相关性；② 在 MVP（坐标不稳）与 UI-Venus-1.5（step-trace gap）的新语境下，SCoRe 是这两者的统一量化——单步不稳 × 自反馈放大 = online 失败；③ 提供 grounding 漂移 / 规划漂移分解，给训练侧可操作的归因。
- **实验方案**：
  - 数据集：Mind2Web (2,350)、AndroidControl (15k)、OSWorld 静态轨迹 (369)、WebArena (812)；online 真值用 OSWorld/AndroidWorld/WebArena 公开榜单数 + 少量自测。
  - Baselines（≥4）：grounding accuracy、step-SR、MVP 聚合分数、OS-Oracle critic 分数（过程奖励）、随机/平均基线。预测任务：online SR（回归 + 排序）。
  - 主表：行=agent（UI-TARS-1.5-7B、Qwen2.5-VL-7B/3B、Qwen3VL-8B、GPT-4o+OmniParser），列=grounding acc / step-SR / SCoRe / 分解（grounding 漂移, 规划漂移）/ online SR / SCoRe-预测SR。
  - 消融（≥4）：(a) 漂移度量选择（坐标 L2 vs 动作类型 vs token 熵）→证哪种信号最能预测；(b) self-conditioned 状态检索（真实转移 vs 最近邻检索）→证检索不影响有效性；(c) 时间权重 w_t（线性 vs 指数）→证误差累积建模的必要性；(d) 预测器复杂度（线性 vs 阈值 vs 不学）。
  - 分析：SCoRe 曲线与 online 失败模式对齐（循环点击、误触弹窗）；散点 SCoRe vs online SR；在 ScreenSpot-Pro 难样本上的漂移热点可视化。
  - 指标：Pearson/Spearman 相关、排序一致性、预测 MAE；无需人工评测。
- **8×L40 可行性**：纯推理任务。8 卡跑 5–10 个开源 agent 的离线 rollout（每模型 ~600 万 token 推理量 ≈ 150–300 GPU·h），总 ≤800 GPU·h、1–2 周日历时间。无需训练大模型；预测器在 CPU 上即可。**降级**：只测 3 个开源模型、只跑 Mind2Web+AndroidControl，~300 GPU·h。环境依赖：静态语料在 Linux 服务器本地即可，无需 macOS 真机。
- **风险与退路**：最大风险是 SCoRe 与 online SR 相关性弱。**退路**：哪怕相关弱，系统性量化"现有离线指标与 online 的脱节 + 自反馈漂移的失败归因"本身是 OSWorld-Human 级别的重要分析贡献，可发评测方法论论文。
- **为什么是 2026**：OSWorld-Verified/ScreenSpot-v2/UI-Venus-1.5 刚把评测危机摆上台面，社区正缺一个可落地、免环境的预测性代理指标；2026 是"评测方法论"被认可的窗口期。

### Idea 2：ANDAS —— 注意力-新颖性联合检测的弹窗/注入防御闸门

- **一句话 Pitch**：不重训、不逐攻击调参，用"视觉新颖性掩码 + 注意力-指令对齐"双信号在动作执行前拦截弹窗、小字、伪造对话框与广告注入，把 LaSM 的逐层缩放升级为通用的动作安全闸门。
- **切入的 Gap**：G3 + LaSM（只防弹窗、缩放参数手工定）+ fine-print injection（arXiv'25）+ RedTeamCUA（secure 模式 ASR 仍 48%）+ OS-Harm；与安全×agent 交叉、竞争少。
- **核心技术方案**：
  - **信号 1·视觉新颖性掩码**：对连续帧 s_{t-1}, s_t 计算差异（像素/CLIP 特征差异 + 光流），叠加帧间背景建模得到"突然出现区域"集合 R_pop（弹窗、新悬浮广告、注入横幅的特征）。
  - **信号 2·注意力-指令对齐**：从 MLLM 各层取 instruction 相关 token 对图像 patch 的 attention 加权成 saliency map；计算 R_pop 内 saliency 占比与指令所指元素位置的 saliency 占比。
  - **联合判据**：若 R_pop 内 saliency 异常集中（注意力被劫持，呼应 LaSM 的 attention divergence 洞察）且与指令目标不一致 → 判定注入。输出三选一：拒绝执行并说明 / 裁剪非可疑区域重新 grounding / 进入"慢模式"（iSHIFT 式深读）。
  - **训练**：主体免训练；可选训一个 0.5B LoRA 检测头做信号融合（<1M 样本合成生成）。
  - delta vs LaSM：LaSM 事后调制注意力（需要知道哪层该放大），ANDAS 事前检测（无需攻击先验）且覆盖弹窗之外的多类注入；与 in-context exemplar 防御（Yang 2025，减 ASR 90%+）正交可叠加。
- **Novelty Argument**：审稿人会说"LaSM + 显著性检测拼装"。反驳：核心机制是"突然出现的新颖性 + 注意力被劫持"的**联合判据**——单独任一信号都不可靠（网页本身常变、注意力本来就有噪声），联合才有判别力；且首次把防御做成**可叠加、无重训、覆盖多攻击类别**的动作安全闸门并配标准评测协议。
- **实验方案**：
  - 数据集：在 OSWorld/AndroidWorld/Mind2Web 上按 Fine-Print Injection/RedTeamCUA/OS-Harm 的分类注入 5 类攻击（弹窗、小字、伪造对话框、广告注入、像素扰动）；正常任务集取原基准；开放任务取 GUIDE 子集。
  - Baselines（≥4）：无防御、LaSM、in-context exemplar 防御、prompt 加固、OS-Harm 式规则过滤。
  - 主表：行=方法，列=ASR（攻击成功率）/ 正常任务 SR 保持率 / 误报率 / 防御下任务 SR / 单步延迟增量。
  - 消融（≥4）：(a) 仅新颖性 vs 仅注意力 vs 联合 →证联合判据必要性；(b) 帧差 vs 光流 vs 特征差→证信号选择；(c) 闸门动作（拒绝 vs 裁剪重读 vs 慢模式）；(d) 阈值扫描的鲁棒性。
  - 分析：可视化攻击下 attention 被劫持模式与 ANDAS 拦截过程；失败案例（漏报/误报）按攻击类拆解。
  - 指标：ASR、误报率、防御成功后的任务 SR；全自动评测，无需人工。
- **8×L40 可行性**：主体免训练（仅推理，1–2 卡，vLLM 服务 agent）；攻击集构造与评测（Docker 化 OSWorld + Android 模拟器）~600 GPU·h；可选检测头 LoRA 训练（0.5B，200k 样本）~200 GPU·h；总 ≤800 GPU·h。**环境**：攻击环境用 Docker 容器跑 WebArena/OSWorld（Linux 上原生支持），Android 注入用模拟器（KVM）；macOS 主机可跑 Docker Desktop 版 web 环境与本地 Android AVD，但建议把重活放 L40 Linux 服务器。**降级**：只做弹窗+小字两类攻击、不加检测头。
- **风险与退路**：误报拖累正常任务。**退路**：退为"新颖性信号对注入的敏感性研究"（不追求端到端防御），或只交付攻击分类 + 防御评测协议（安全评测基准贡献）。
- **为什么是 2026**：注入攻击文献（Fine-Print/EIA/VPI-Bench/RedTeamCUA）刚爆发，OpenAI 靠 RL 红队持续打补丁说明免训练防御仍是空白；安全×agent 是 2026 的蓝海交叉口。

### Idea 3：VidMine —— 旁白对齐 + 信息量排序的视频挖掘课程

- **一句话 Pitch**：在 Watch & Learn 的逆动力学之上加 ASR 旁白对齐给轨迹补语言目标、按状态转移信息量排序做课程学习，把"看视频学用电脑"从教程扩展到含失败/尝试的真实录屏，产出可直接做 goal-conditioned SFT/RL 的 (指令, 轨迹) 数据。
- **切入的 Gap**：G2 + W&L（轨迹无语言指令、动作类型受限、无课程）+ TongUI/Synatra（MLLM 标注脆）+ SCALE（自生成数据噪声大）。
- **核心技术方案**：
  - **旁白对齐**：对屏幕视频做 ASR + 音频事件检测；用三模态对齐（对比学习或 MLLM step 分割）把旁白片段对齐到屏幕片段，得到 (语言目标, 屏幕片段) 对——给 W&L 式 IDM 产出的轨迹补上指令，使其可作 goal-conditioned 监督。
  - **转移信息量排序**：每段轨迹打分 score = α·IDM置信度 − β·(1 − ‖Δs‖) + γ·(旁白-动作一致性)，其中 ‖Δs‖ 是状态转移幅度；优先保留"意外转移 + 多动作类型 + 旁白可解释"的轨迹（类似主动学习的选择理论）。
  - **课程学习**：按难度（动作多样性、片段长度、指令清晰度）从易到难 SFT；可选接执行反馈 RL。
  - delta vs W&L：①旁白对齐解决"视频→(指令,轨迹) 对偶监督"的本质缺口；②信息量排序提供"哪些视频值得标注"的数据选择依据；③数据源扩展到含失败/尝试的录屏（恢复能力正是 CUA 短板）。
- **Novelty Argument**：审稿人会说"W&L + ASR 拼接"。反驳：旁白对齐让 mined 数据从"只有动作"升级为"有指令的有监督样本"——这是数据可用性的质变（W&L 轨迹只能做无条件 BC/in-context，VidMine 能做条件 SFT/RL）；信息量排序把数据挖掘变成有依据的选择问题而非全量吞入；含失败视频的挖掘是 W&L 明确未做的。
- **实验方案**：
  - 数据集：YouTube 教程 + 录屏（Chrome/GIMP/VLC 等 OSWorld 相关 app）；可复用 W&L 的 500–600k 状态转移语料（公开）；产出 20–50k (指令,轨迹)。
  - Baselines（≥4）：直接 W&L 轨迹 SFT、TongUI、Synatra、AgentTrek、随机采样 SFT、无旁白版本。
  - 主表：行=数据来源，列=OSWorld SR（15/30 步）/ WindowsAgentArena SR / Mind2Web step-SR / 指令-轨迹对齐率（GPT-as-judge）。
  - 消融（≥4）：(a) 旁白对齐有无→证指令监督增益；(b) 信息量排序 vs 随机→证数据选择；(c) 课程 vs 打散→证课程增益；(d) IDM 置信度阈值扫描。
  - 分析：按动作类型（拖拽/双击/组合键）分解成功率——验证 W&L 短板是否被覆盖；旁白对齐失败案例（口型/语言混杂）。
  - 指标：OSWorld/WAA 自动 SR；对齐率用 GPT-as-judge 抽查 500 条（API 成本 ~$50）。
- **8×L40 可行性**：IDM 训练（Qwen2.5-VL-3B LoRA r=64，600k 转移，~14k token/样本批量处理）~400 GPU·h；课程 SFT ~300 GPU·h；OSWorld 在线评测（Docker 环境 CPU 跑 + 1–2 卡推理）~300 GPU·h；总 ≤1000 GPU·h、约 1 周。**环境**：OSWorld 用 Docker 容器（Linux 服务器）+ VNC/无头模式；macOS 主机可跑 Docker Desktop 版 OSWorld 做小规模冒烟。**降级**：不做 WindowsAgentArena（需 Windows VM，成本高），只用 OSWorld+Mind2Web 静态。
- **风险与退路**：旁白与屏幕动作时间对齐不准。**退路**：退为"转移信息量排序"作为弱监督数据过滤方法单独验证（对比随机采样），仍有独立价值。
- **为什么是 2026**：W&L 刚证明视频挖掘可行但留了"无指令/无课程"的明确坑；ASR 与多模态对齐模型 2026 已足够强（Whisper 系 + Qwen 系），是补坑的成熟时机。

### Idea 4：GWM —— 可预测状态摘要器：GUI 世界模型同时干三件事

- **一句话 Pitch**：训练一个轻量 GUI 世界模型预测"执行动作后的状态增量"，同时充当 CES 的 State Tracker（上下文压缩）、长时程错误恢复触发器、以及 SCoRe 的自反馈信号源——一个机制，三条命脉。
- **切入的 Gap**：G4 + G1 + P85 CES（State Tracker 被动压缩无预测能力）+ OS-Oracle（critic 只做单步把关不预测状态）+ Web Agents with World Models（预测 DOM 但面向动作选择而非状态管理）。
- **核心技术方案**：
  - 输入：当前状态摘要 z_t（MLLM 一次性离线生成的紧凑文本+坐标列表，~500 token）、动作 a_t；输出：预测状态增量 Δẑ_{t+1}（"对话框出现/文本变为 X/页面跳转到 URL"）。
  - 训练：从 OSWorld/AndroidWorld/WebArena 轨迹构造 (z_t, a_t, z_{t+1} 真实) 监督，交叉熵 + 增量 token 覆盖损失。
  - **三个用途**：①**压缩**——长时程上下文只存 Δz 增量链（token 降 60%+）；②**恢复**——执行 a_t 后把真实观测增量与 Δẑ 比对，不一致（阈值 δ）即触发 re-plan/re-grounding；③**自反馈**——提供 Idea 1 SCoRe 需要的"预测下一状态"（离线可算，不依赖检索）。
  - delta vs CES：CES 的 State Tracker 是"重述+压缩"，GWM 是"预测+校验"——预测误差本身就是恢复信号，这是主动 vs 被动的本质区别。
- **Novelty Argument**：审稿人会说"GUI 版 world model + CES 拼接"。反驳：核心是**预测误差的三重复用**——同一模型同时服务压缩收益、恢复触发器、离线评测信号，此前这三件事由三个独立模块做；且 GWM 给"执行反馈"提供了计算上自监督的来源（不需要 reward model 或人工判错）。
- **实验方案**：
  - 数据集：OSWorld (369) + AndroidWorld (116 参数化) + WebArena (812)；先用 Qwen2.5-VL-7B 在线采集 ~1000 条轨迹（含成功与失败）。
  - Baselines（≥4）：CES（Coordinator/State Tracker）、AutoGLM 记忆、UI-TARS-2 的 episodic memory 思路、无世界模型的长程 agent、纯全量上下文 agent。
  - 主表：行=方法，列=OSWorld SR（15/30 步）/ AndroidWorld SR / 平均 token 数 / 恢复触发精确率 / 失败任务中"预测不一致先于失败"的比例。
  - 消融（≥4）：(a) 预测比对有无→证恢复增益；(b) 增量压缩 vs 全量重述→证 token 收益；(c) 摘要粒度（粗/细）；(d) 不一致阈值 δ 扫描。
  - 分析：错误检测案例（弹窗打断流程、网络延迟状态跳变）；预测误差曲线与最终失败的相关性（预测误差升高→失败临近）。
  - 指标：SR + token + 恢复率；GPT-as-judge 验证 300 条状态摘要质量（API ~$30）。
- **8×L40 可行性**：数据采集（在线跑 OSWorld/AndroidWorld，15 步×14k token/步 ≈ 400k token/轨迹，vLLM 8 卡约 20–30s/轨迹，1000 条 ≈ 8–12 GPU·h/环境 + 环境 CPU 开销）~400 GPU·h；GWM 训练（3B LoRA，500k 增量样本）~400 GPU·h；长程评测 ~400 GPU·h；总 ≤1300 GPU·h。**环境**：OSWorld/AndroidWorld 在 Linux 服务器 Docker/模拟器跑，macOS 主机只做开发与冒烟。**降级**：只做 AndroidWorld；若在线采集太慢，用公开轨迹集。
- **风险与退路**：状态增量预测不准→恢复触发噪声。**退路**：单独作为"上下文压缩器"发效率结论（token 降 60%+ 且 SR 不掉），或作为 SCoRe 的自反馈数据源（与 Idea 1 互相成就）。
- **为什么是 2026**：长时程评测（OSWorld/AndroidWorld）刚成熟到可做轨迹数据回放，世界模型在 GUI 领域尚未有人系统做过"预测-校验-压缩"三位一体；2026 是窗口期。

### Idea 5：GoalVA —— 视觉目标想象作为长时程操作 VLA 的 CoT

- **一句话 Pitch**：让 3B VLA 先想象"任务完成时的目标表征"再出动作，用仿真可验证的 goal 状态做 RL 监督，解决长时程操作"只知 what 不知 how"的协调缺口，在 VLABench/LIBERO 标准基准上评测。
- **切入的 Gap**：G6 + P80 ManualVLA（手册数据贵、3DGS 真实度存疑、无标准评测）+ AVA-VLA（只做注意力不做目标推理）+ VLABench（长时程推理评测刚发布）。
- **核心技术方案**：
  - 架构：Qwen2.5-VL-3B + LoRA（r=64）。输入当前帧+指令；**第一段输出目标想象**（两种形式选一：A) 文本目标描述 + 紧凑 goal token；B) 预测目标状态图像的 latent——通过可学习的 VQ 目标 codebook）；**第二段动作头**输出动作。
  - **动作头明确两种选项**：①离散 256 bins（扩 vocab 256 token，next-token 自回归，简单稳）；②flow matching 专家头（π0 风格，~500M 参数，平滑高频控制）。两者都做消融——回答"离散 vs 连续"之争。
  - 训练：①**模仿**——LIBERO/VLABench 仿真轨迹，goal 状态由仿真直接给出（物体最终位姿/场景渲染），监督目标想象与动作；②**RL**——在仿真 rollout，reward = 任务成功 + 目标想象与真实 goal 的 DINO 特征相似度，GRPO 后训，学"想象得准"。
  - delta vs ManualVLA：不做文本手册而做**视觉目标想象**（更直接的条件信号）；不依赖 3DGS 造数据，直接用仿真可验证 goal；用标准 VLABench/LIBERO 而非自建 LEGO 任务。delta vs 目标条件扩散策略（老题）：那些工作是**给定** goal，GoalVA 是模型**自生成** goal 且经 RL 学"想象准"。
- **Novelty Argument**：审稿人会说"ManualVLA 的 visual 版 / 老目标条件策略"。反驳：①"自生成目标想象 + 仿真可验证 reward"的组合此前没有——目标想象成为可被环境验证的中间监督，而非无监督的文本 CoT；② 显式回答离散 256 bins vs flow matching 的动作表示之争（在同一骨架下消融）；③ 在 VLABench（2025 新基准）上评测长时程推理，避开 LIBERO 饱和争议。
- **实验方案**：
  - 数据集：LIBERO（5 套件，公开）、VLABench（ICCV'25，长时程推理，公开）、CALVIN（可选）；真机可选 1 项（机械臂，非必需）。
  - Baselines（≥4）：OpenVLA、π0（公开权重）、CogACT、RDT-1B、ManualVLA（无权重则引用报告数字 [未验证]）、无目标想象的同规模 3B 基线。
  - 主表：行=方法，列=LIBERO-90 / LIBERO-Spatial / VLABench 长时程 SR / CALVIN ABC→D（SR）；标注参数规模。
  - 消融（≥4）：(a) 目标想象有无→证 CoT 增益；(b) 想象形式（文本 vs latent vs 图像）→证表示选择；(c) 256 bins vs flow matching 动作头→证动作表示之争；(d) RL 有无（GRPO）→证可验证 reward 的增益。
  - 分析：想象目标与真实 goal 的 DINO 相似度随训练上升曲线；长时程步骤级错误归因（规划错 vs 执行错）。
  - 指标：仿真 SR（自动）；真机 1 项可选；无需人工。
- **8×L40 可行性**：Qwen2.5-VL-3B：全参微调（ZeRO-2 + grad ckpt，单卡 48GB 可装 3B 全参 + 优化器状态需 ZeRO-2 分片）或 LoRA r=64（推荐，~0.3GB/卡）；SFT（LIBERO+VLABench，~200k 样本）~400 GPU·h；GRPO 后训（仿真并行 rollout：Isaac Lab/自建，CPU+1–2 卡渲染，8 卡训练）~600 GPU·h；评测 ~200 GPU·h；总 ~1200 GPU·h，主实验 <1000，约 10–14 天。7B LoRA 版本贵 2×（可选）。**降级**：不做 CALVIN 与真机，只用 LIBERO+VLABench；若 GRPO 不稳，先只出 SFT 版。
- **风险与退路**：目标想象在长时程上退化（想象错→动作错）。**退路**：退为"可验证 goal reward 对 VLA RL 的作用"受控研究（去掉目标想象，只加 goal 相似度奖励），或"目标条件 CoT 对 VLA 增益"的分析论文。
- **为什么是 2026**：VLABench 刚提供长时程推理的标准评测，π0/OpenVLA 权重公开让 3B 级复现可行，而 LIBERO 饱和迫使社区转向"机制 + 新评测"；2026 是操作 VLA 从堆数据转向堆机制的时间点。

### Idea 6：PAUSE —— 主动辅助策略：何时接管、何时提问、何时放手

- **一句话 Pitch**：把 GUIDE 的"帮助预测"从离线指标升级为可执行策略——agent 在持续观察用户屏幕流时学习"接管/给提示/问澄清/静默/交还"的决策，用 GUIDE 67.5h 数据 + 人机协作在线评测协议，把 GUI agent 从自动化推向协作。
- **切入的 Gap**：G8 + P34 GUIDE（Help Prediction 55%、给 context 涨 50.2pp 说明判据不清）+ G1（开放任务无标准成功定义，online 评测缺位）。
- **核心技术方案**：
  - **任务定义**：状态 = 屏幕流 + 用户动作历史 + agent 对用户意图的置信度 p(intent)；动作空间 = {接管执行, 给提示, 问澄清, 静默观察, 交还控制}；奖励 = 任务进展 + 用户自主性保持 − 打扰惩罚。
  - **数据**：复用 GUIDE 的 67.5h（120 用户/10 软件，think-aloud 作为意图 GT）；新增 10–20h"协作事件"标注（用户何时希望被帮助、被帮助后是否受益）。
  - **模型**：Qwen2.5-VL-3B LoRA。输入（屏幕流摘要 + 意图置信度 + 当前任务状态），输出辅助动作；训练：行为克隆（GUIDE 帮助标注）+ 轻量 RL（奖励 = 帮助时机正确性，GPT-as-judge 或 10–15 名真人在线打分）。
  - delta vs GUIDE：GUIDE 是"预测该不该帮"的离线指标评测；PAUSE 是**可执行的辅助策略 + 在线人机协作评测协议**，并给出"帮助决策边界"的可学习答案（什么置信度/什么任务阶段该帮）。
- **Novelty Argument**：审稿人会说"GUIDE 的 follow-up 或又一次 imitation"。反驳：PAUSE 是**新任务定义**——自动化 agent 评测从不涉及"用户自主性"这一目标维度；首次把"何时接管/提问/放手"训练成可执行策略并配在线协作评测协议（完成度 + 自主性 + 打扰 三维指标），属于 agent 与 HCI 的交叉蓝海。
- **实验方案**：
  - 数据集：GUIDE（公开 67.5h）+ 自采 10–20h 协作标注（3 款软件，10 用户）。
  - Baselines（≥4）：随机帮助、规则帮助（每 N 步帮）、GUIDE 报告的 VLM 帮助预测、GPT-4o 直接接管、静默 agent（不帮）。
  - 主表：行=方法，列=任务完成度 / 用户自主性（用户完成步骤占比）/ 打扰次数 / 帮助正确率 / 用户满意度（真人 5 分制）。
  - 消融（≥4）：(a) 意图置信度模块有无→证其必要性；(b) 奖励权重（自主 vs 完成度）扫描；(c) 行为克隆 vs 行为克隆+RL；(d) 帮助粒度（接管 vs 提示）。
  - 分析：PAUSE 学出的"该问"场景（意图模糊、多目标歧义）；GUIDE 的 help prediction 与 PAUSE 协作收益的相关性。
  - 指标：自动（完成度/打扰）+ 真人 10–15 用户 + GPT-as-judge 交叉验证（一致性报告）。
- **8×L40 可行性**：3B LoRA SFT ~200 GPU·h；协作标注主要由 MLLM 辅助 + 人工（API 成本 <$200）；在线评测在 macOS 主机（跑本地 app 录屏 + 用户参与）或 OSWorld Docker 环境，~200 GPU·h；总 <600 GPU·h——6 个 idea 中最省。**降级**：不做在线真人评测，先用 GUIDE 离线切分做"帮助时机预测"受控评测发 benchmark+baseline。
- **风险与退路**：真人评测样本小、难复现。**退路**：第一阶段只发"帮助时机预测的受控评测 + 可执行策略"（无需真人），第二阶段补真人协作研究。
- **为什么是 2026**：GUIDE 刚开源数据与基准，G8 协作范式尚无竞争者；agent 从"替你做事"转向"陪你做事"是 2026 最明显的范式叙事缺口。

---

## 4. 优先级建议

| Idea | 新颖度 | 工作量 | 风险 | 8×L40 契合度 | 推荐投稿目标 | 建议启动顺序 |
|---|---|---|---|---|---|---|
| 1 SCoRe（离线代理指标） | 高（评测危机） | 低 | 低 | 极高（纯推理） | CVPR/ICLR | 1（先立评测基线） |
| 3 VidMine（视频挖掘课程） | 中高 | 中 | 中低 | 高（3B LoRA + Docker 评测） | ICCV/CVPR | 2（复用 W&L 语料） |
| 2 ANDAS（注入防御闸门） | 高（安全×agent） | 中 | 中 | 高（免训练为主） | CVPR/CCS 侧稿 | 3 |
| 6 PAUSE（协作辅助策略） | 极高（新任务定义） | 中 | 中高（真人评测） | 极高（最省卡） | CVPR/CHI | 4（先用 GUIDE 离线版） |
| 4 GWM（GUI 世界模型） | 高（机制洞察） | 高 | 高 | 中（需在线采集） | CVPR Oral 候选 | 5（依赖 Idea 1 的 SCoRe） |
| 5 GoalVA（目标想象 VLA） | 极高（动作表示之争+机制） | 高 | 高 | 中高（3B 全参/LoRA 可行） | CVPR/CoRL Oral 候选 | 6 |

**梯度达成**：低风险稳定中稿型 = Idea 1、3（≥2，满足）；高风险高回报 Oral 型 = Idea 4、5（≥2，满足）；新问题/新任务定义型 = Idea 6（满足）。Idea 2 为安全×agent 交叉蓝海。

**执行建议**：先并行启动 Idea 1（SCoRe，几乎不占卡，产出"离线-在线相关性"证据与分解归因）与 Idea 3（VidMine，复用 W&L 公开语料）。Idea 1 产出的 SCoRe 可作为 Idea 4 的评测自反馈源；Idea 4 的 GWM 与 Idea 1 互相成就；Idea 2 与 Idea 4 的恢复模块可共享注意力/新颖性信号。所有 GUI 类 idea 统一 backbone 为 Qwen2.5-VL-3B+LoRA，推理时双模态 token 预算明确：1344×896 截图 ≈ 6,144 视觉 token + HTML/A11y 树 ≤8k 文本 token，单步 ≤14k token，15 步轨迹 ≈ 210–400k token——这是 8×L40 上做 GUI 在线 RL 的硬约束（vLLM 8 卡聚合 ~16k token/s，一条轨迹 ~25s，千条轨迹量级完全可行）。真实环境执行方案：web/OS 评测用 Docker 化 WebArena/OSWorld（Linux 服务器，macOS 主机可用 Docker Desktop 做冒烟）；Android 用 KVM 模拟器（Linux）/AVD（macOS）；Windows 类任务（WindowsAgentArena）成本高，默认降级不做。