# M1｜MLLM 感知-推理机制、强化学习与评测

## 0. 方向速览

本方向研究多模态大模型（MLLM）如何"看"与"想"：用强化学习（GRPO/DAPO 及其变体）激发视觉推理、剖析视觉-语言融合的可解释机制、决定视觉编码器该不该微调、从 LLM 向 VLM 蒸馏推理、用生成式/智能体式 reward model 做对齐，以及用探针与谜题揭示 MLLM 的感知与记忆缺陷。2025–2026 的核心转折是：社区发现**感知（perception）而非推理（reasoning）才是 MLLM 的瓶颈**（`APPO`，CVPR'26），且非自回归扩散式 MLLM（`LLaDA-V`，CVPR'26）打开了"用图像思考"的新范式窗口。卡点在于：RL 已严重红海、序列级 reward 的信用分配过粗、感知能力长期被当作隐变量而非可优化目标。

---

## 1. 论文逐篇评析

### [P0] APPO: Attention-guided Perception Policy Optimization for Video Reasoning
- **核心贡献**：用"组内感知 token"概念把 GRPO 的序列级 reward 改写成 token 级稠密 reward——对同一关键帧注意力高的 token 在组内被联合优化，从而用推理 RL 顺带提升细粒度感知；并用实证数据抛出"感知比推理更关键"的反直觉结论（感知 7B→32B 增益 1.4% > 推理 Qwen3-8B→o3 增益 0.7%）。
- **优点**：① 首次用注意力归因把"感知"从推理 reward 中显式解耦，给出可计算的感知 token 定义；② token 级 dense reward 直接缓解了 GRPO 在长视频上的信用分配过粗问题；③ 用现成模型规模做对比实验，结论对预算有限的团队极具操作性意义；④ 在 3B/7B 上一致超过 GRPO/DAPO，工程改动极小。
- **不足**：① "感知 token"由注意力启发式近似，attention 高≠真感知到正确内容，在噪声/对抗帧下归因会失效；② 1.4% vs 0.7% 的样本量、任务分布、随机种子未充分消融，"感知更重要"结论的因果性弱（可能是所选 benchmark 本就感知主导）；③ 只在视频 QA 验证，未证明对需要强推理的数学/逻辑题同样成立；④ 与 `Visual-RFT (ICCV'25)` 的 BRO 信用分配高度重叠，delta 偏工程化。
- **可延展信号**：把"感知能力"做成可显式度量、可独立优化的目标，而非靠注意力近似——这是后续 idea 的主线。

### [P1] GraphVLM: Benchmarking VLMs for Multimodal Graph Learning
- **核心贡献**：定义"多模态图学习（MMGL）"这一新任务族，系统比较 VLM 作为 Encoder/Aligner/Predictor 三种角色在图推理上的作用，发现 VLM-as-Predictor 增益最大。
- **优点**：① 提出了一个被忽视的结构化多模态场景（社交网络/科研图），任务定义清晰；② 三角色统一评测框架可复用于其他图任务；③ 6 个数据集跨域验证，结论稳健。
- **不足**：① VLM-as-Predictor 占优很可能只是因为 GNN 基线弱，而非 VLM 真理解图结构，缺强图模型 baseline（如 GraphTransformer）；② "graph reasoning"在此被降维成节点/边分类，未触及真正的多跳推理；③ 评测指标偏准确率，未测大模型在图上的幻觉与可解释性；④ 与 MLLM 主线的"感知-推理"耦合弱，更像是 VL+GNN 的应用文。
- **可延展信号**：把图结构作为"推理链的可验证约束"引入 RLVR（图边约束可作 verifiable reward）。

### [P5] Where Does Vision Meet Language? Understanding and Refining Visual Fusion via Contrastive Attention
- **核心贡献**：用逐层 masking + 注意力演化分析定位 MLLM 中视觉-语言融合发生的"特定层"，发现 late-stage "review" 现象与无关区域的高注意力噪声，并提出 training-free 的对比注意力框架提升推理。
- **优点**：① 系统性 layer-wise 实证，填补了"融合在哪发生"的机制空白；② contrastive attention 是 inference-time 即插即用、零参数，实用性强；③ 揭示的"无关区域高注意力噪声"是可被后续训练直接针对的明确缺陷。
- **不足**：① 只在少数架构验证，结论（融合在特定层、late review）是否普适存疑；② training-free 改进幅度有限且未与 LoRA/微调做成本对比；③ "对比"用的是 early-fusion 与 final-layer 的差异，early 表示本身可能不可靠；④ 未解释为何模型会在无关区域产生持续高注意力（是 vision encoder 还是 connector 之过）。
- **可延展信号**：把"注意力噪声"作为可训练信号接入视觉编码器微调（与 CoVFT 互补），或做 perception 诊断指标。

### [P11] LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning
- **核心贡献**：首个纯扩散（masked diffusion）范式的 MLLM，用双向注意力捕捉视觉空间关系，证明即使底层语言模型弱于 LLaMA3-8B，多模态表现仍具竞争力，且数据扩展性好。
- **优点**：① 跳出自回归范式，天然支持双向/infilling，为"用图像思考"提供结构基础；② 开源训练与评测代码，可复现；③ 揭示扩散 MLLM 的数据 scaling 行为，是 2026 时间窗口的稀缺探索。
- **不足**：① 纯文本能力弱，跨模态推理上限受限于扩散 LM 本身；② 未回答扩散 MLLM 能否做长链 RL（GRPO 依赖可采样的完整轨迹，扩散的采样成本高且奖励稀疏）；③ 与 Qwen2-VL 的差距仍明显，且只在静态多模态任务验证，未测视频/agent；④ 双向注意力带来 KV cache 与部署成本问题，工程可行性未讨论。
- **可延展信号**：扩散范式的"任意顺序生成 + infilling"恰好能实现 AR 做不到的"并行感知假设生成"与"视觉 infilling 验证"——是 idea 4 的支点。

### [P35] CLIP Is Shortsighted: Paying Attention Beyond the First Sentence
- **核心贡献**：指出长描述 caption 的"首句摘要"训练捷径使 CLIP 把注意力压在开头 token，提出 DeBias-CLIP（删摘要句 + 句子子采样 + padding）作为 Long-CLIP 的免参 drop-in 替代。
- **优点**：① 发现了一个具体、可复现的 CLIP 偏置（首句捷径），机制清晰；② drop-in、零新增参数，易落地；③ 长/短文本检索都提升且对句序置换更鲁棒。
- **不足**：① 只测检索，未测作为 MLLM 视觉编码器时的下游影响（这正是 M1 方向最关心的）；② "删首句"对本身无摘要风格的数据（如 alt-text）可能过校正；③ 未分析视觉侧是否也短视（只看了文本 token 分布）；④ 与 CoVFT（P92）的"视觉编码器要不要微调"问题未对话。
- **可延展信号**：把 DeBias 思想引入 MLLM 视觉编码器微调，做"context-aware 且 caption-order-robust"的 VFT。

### [P55] MIRACLE: Will MLLMs Be Dazzled by Multi-Image Visual Puzzles?
- **核心贡献**：提出 4000 题的多图复杂推理 benchmark，强调跨图强依赖（比较/时序/空间），暴露 top 模型（Gemini-2.5-Pro）仅 55.91%，高视觉密度下全面崩。
- **优点**：① 填补多图强依赖推理评测空白，题量足、类型系统；② 揭示"高视觉信息密度→认知过载"这一现象，对 MLLM 容量边界有诊断价值；③ 数据开源。
- **不足**：① 仅 4000 题且谜题风格单一，易过拟合/泄漏（谜题模式可被 SFT 背下）；② 未区分"看不懂图"还是"跨图推理失败"，归因不清；③ Gemini 分数低可能部分源于其拒答/安全策略，非纯能力；④ 作为 benchmark 类，缺与训练方法联动的改进证据。
- **可延展信号**：用 PBI（Idea 1）把 MIRACLE 的失败拆成感知 vs 推理，指导多图感知工具（Idea 6）。

### [P66] OneThinker: All-in-one Reasoning Model for Image and Video
- **核心贡献**：统一图像+视频的多任务推理 generalist，构造 OneThinker-600k，提出 EMA-GRPO 用任务级 reward 标准差滑动平均平衡多任务 RL 的 reward 异质性。
- **优点**：① EMA-GRPO 是 GRPO 在多任务异构 reward 下的务实改进，解决"某任务 reward 尺度大主导梯度"的真实问题；② 31 benchmark/10 任务统一，展示任务间正迁移与零样本泛化；③ 全开源。
- **不足**：① "统一"主要靠共享数据配方，未证明架构层面的统一必要（拆成专家可能更强）；② EMA 只归一化标准差，未处理 reward 基线漂移与任务难度差异；③ 600k 数据由商业模型标注，质量/偏见不可控且成本不可复现；④ 与 `MM-Eureka (arXiv'25)`、`LMM-R1 (arXiv'25)` 的"统一 RL"叙事高度同质，红海内。
- **可延展信号**：EMA-GRPO 的"reward 异质性"问题在感知/推理混合 reward 时更尖锐——是 PerceiveRL（Idea 2）要处理的。

### [P83] PersonaVLM: Long-Term Personalized Multimodal LLMs
- **核心贡献**：长期个性化多模态 agent，主动抽取时序多模态记忆→数据库，多轮检索推理，推断演化中的用户人格做响应对齐，提出 Persona-MME 基准。
- **优点**：① 把个性化从单轮输入增强升级为"记忆-推理-对齐"闭环，贴合真实助手场景；② Persona-MME 覆盖 7 维度 14 任务，评测完整；③ 128k 上下文下超 GPT-4o。
- **不足**：① 记忆抽取与人格推断靠 prompt，无显式可训练信号，难保证一致性；② 隐私与记忆污染（错误记忆持久化）风险未讨论；③ Persona-MME 由"curated 交互"构造，分布偏理想；④ 与感知-推理主线弱相关，更像 agent/记忆系统文。
- **可延展信号**：个性化记忆可作为"感知偏好"（用户常看错的区域）的个性化补偿——与感知瓶颈交叉。

### [P88] VOLD: On-Policy Distillation from LLMs to VLMs
- **核心贡献**：把文本 LLM 的推理能力用 on-policy 蒸馏迁移到 VLM：在 GRPO 训练中让教师指导学生的推理轨迹，且证明 cold-start SFT 对齐是蒸馏生效的前提。
- **优点**：① 直击 VLM 推理数据稀缺痛点，用充裕文本推理资源补视觉推理；② on-policy（学生自己采样的轨迹被教师指导）比 off-policy 蒸馏更稳；③ 明确 cold-start 对齐的必要性，给出可复现配方。
- **不足**：① 前提是文本教师与视觉学生"分布足够近"，对视觉专属推理（看图几何）教师帮不上；② 只测 QA，未测教师可能误导的幻觉传播；③ cold-start 对齐需要的 SFT 数据从哪来未充分交代；④ 与 `LMM-R1 (arXiv'25)` 的两阶段 RL 叙事重叠，delta 在蒸馏项。
- **可延展信号**：把蒸馏对象从"推理"换成"感知"（文本教师教不了），恰说明感知必须自监督/RL 自举——强化"感知是瓶颈"。

### [P92] CoVFT: Context-aware Visual Fine-tuning
- **核心贡献**：通过配置对齐 benchmark 发现现有视觉微调（VFT）常打不过冻结基线，归因于"视觉偏好冲突"，提出 CVE + CoMoE 做 context-aware 视觉微调，7B 超 13B 平均。
- **优点**：① 用对齐实验揭穿"微调视觉编码器总有益"的隐含假设，结论反直觉且有说服力；② CoMoE 把冲突优化信号分解，是 MoE 在视觉适配的干净用法；③ 7B>13B 的平均提升具强性价比卖点。
- **不足**：① CoMoE 路由依赖 context vector，但 context 本身来自未充分训练的连接器，可能把错误 context 固化；② 只在 12 个静态多模态 benchmark，未测视频/agent；③ "超 13B"是平均，分项未必，且 13B 本身非同架构；④ 与 P35（CLIP 短视）未联动——context 偏差可能与 caption 偏置同源。
- **可延展信号**：把 CoVFT 的 context 机制与感知 verifier 结合，做"感知感知型"视觉微调。

### [P97] Socratic-Geo: Synthetic Data + Cross-Modal Geometric Reasoning
- **核心贡献**：多智能体框架（Teacher 生成可解 python 脚本+Reflect/RePI 校验，Solver 偏好学习，Generator 学画图），从 108 种子用 1/4 数据达 49.11，Solver 超基线 2.43。
- **优点**：① 把"数据合成"与"模型学习"闭环耦合，Teacher 的失败路径反哺针对性增强，效率高；② Reflect/RePI 双重校验保证图像-文本保真，缓解合成噪声；③ 2.2B 级用少数据达 SOTA 级，可复现性强。
- **不足**：① 几何题分布窄（程序化可生成），对真实照片/自然图像几何外推未证；② Generator 的画图能力依赖积累的三元组，冷启动脆弱；③ 多智能体协调成本高、超参多，消融不足；④ 与 ViRC（P114）的几何 CoT 互补但未对话。
- **可延展信号**：把"合成数据纯度校验"接成感知难度的自动标定（难生成=感知难），喂给 PerceiveScale。

### [P100] Nano-EmoX: Unifying Multimodal Emotional Intelligence
- **核心贡献**：认知启发的三层（感知-理解-交互）情感建模，2.2B 小模型统一 6 个情感任务，P2E 课程式训练从感知对齐到共情 CoT。
- **优点**：① 首次在 2.2B 上统一三层情感任务，效率与泛化俱佳；② P2E 课程训练有认知依据；③ omni-modal 编码器+异构 adapter 设计紧凑。
- **不足**：① 情感"理解/共情"缺乏客观 ground truth，评测靠人工/标注，可复现弱；② 2.2B 上限低，复杂共情场景天花板明显；③ 与 M1 主线的感知-推理机制关联弱；④ 小模型结论能否推广到 7B+ 未证。
- **可延展信号**：小模型的"感知 vs 推理"瓶颈在情感任务上可能更尖锐（共情需先感知微表情）——可作感知瓶颈的特例验证。

### [P105] VI-Probe: Do VLMs Perceive or Recall?
- **核心贡献**：用可控视觉错觉框架（分级扰动+匹配对照组）解耦"基于视觉的感知"与"语言驱动的记忆"，提出 PFC/TFI/illusion multiplier 指标，发现不同模型失败成因异质（记忆覆盖/感知-记忆竞争/视觉处理极限）。
- **优点**：① 把"答对错觉题"拆成感知与记忆两因子，方法学严谨（匹配对照+极性翻转一致性）；② 揭示单因论错误：GPT-5 记忆覆盖、Claude 竞争、Qwen 视觉极限，诊断粒度空前；③ 数据代码开源，可直接当感知诊断工具。
- **不足**：① 错觉题分布窄，结论是否能推广到自然图像感知未证；② 指标需人工定义"illusion inducer"，不可全自动；③ 只诊断不给治法；④ 未与训练/RL 联动，停留在探针层。
- **可延展信号**：VI-Probe 就是"感知-推理归因"的天然工具——Idea 1/2 直接复用其扰动协议做 PBI 与感知 reward。

### [P114] ViRC: Visual Interleaved Mathematical CoT with Reason Chunking
- **核心贡献**：把多模态数学 CoT 切成 Critical Reasoning Units（CRU），单元内文本连贯、跨单元整合视觉，用三视觉工具+四推理模式造 CRUX 数据集，提出 Instructional/Practice SFT + Strategic RL 渐进训练，ViRC-7B 平均 +18.8%。
- **优点**：① Reason Chunking 符合 Miller 定律，把"重复看图"机制化，比单次静态图推理更 human-like；② CRUX 显式标注多路径 CRU，数据价值高；③ 渐进训练（SFT→RL）稳，7B 增益大。
- **不足**：① CRU 切分靠规则/工具，对无标准步骤的开放题难标注；② +18.8% 的基线含未 RL 的弱模型，绝对值提升需看强基线；③ 视觉工具调用是预设三件，未学"何时该看"；④ 与 VISTA-Gym（P126）/DeepEyes 的工具推理重叠，delta 在 chunking。
- **可延展信号**：CRU 的"跨单元视觉整合"可由 PBI 决定哪些单元是感知失败——驱动按需看图的 agent（Idea 6）。

### [P115] ARM-Thinker: Agentic Multimodal Generative Reward Model
- **核心贡献**：把 reward model 变成自主调用工具（裁剪/翻页）的 agent，用多阶段 RL 联合优化工具调用与判分，提出 ARMBench-VL（细粒度定位/多页文档/指令遵循）。
- **优点**：① 把 RM 从静态打分升级为可验证证据的 agent，直击 RM 幻觉与弱视觉落地；② 多阶段 RL 同时优化 tool-call 与 judgment，设计完整；③ ARMBench-VL 三维覆盖，+16.2% reward 建模提升有说服力。
- **不足**：① 工具是"给 RM 用"，未直接用于策略模型训练；② agentic RM 的轨迹成本高、reward 本身可被 tool-call 游戏；③ 只评 reward 建模与数学/逻辑，未证明端到端 RL 收益；④ 与 VisPRM（Idea 5）相邻，区别在于它是 outcome RM 而非 process RM。
- **可延展信号**：把 agentic 验证从 RM 移到 process 级（每步查视觉落地）→ Idea 5 的 VisPRM。

### [P123] GECO: Game-theoretic Multi-agent for Hateful Meme Classification
- **核心贡献**：把多个 LMM 组织成博弈 agent，用混合奖励（个体准确+跨模型一致）引导协作均衡，解决认知偏置阻碍协作的问题。
- **优点**：① 用博弈论处理模型间偏置，角度新颖；② 混合奖励+惩罚系数保训练稳定；③ 5 基准 SOTA。
- **不足**：① 多模型推理成本极高，难落地；② 仇恨 meme 是窄任务，与 M1 感知-推理主线远；③ 均衡是否真消除偏置、还是平均掉偏置未证；④ 博弈设定对超参敏感。
- **可延展信号**：多 agent 一致性可作为"感知是否可靠"的弱监督信号（多模型都看错=真难感知）。

### [P126] VISTA-Gym: Scaling Agentic RL for Tool-Integrated Reasoning in VLMs
- **核心贡献**：可扩展训练环境，统一 7 任务 13 数据 + 标准化视觉工具接口 + 可执行交互循环 + 可验证反馈，训 VISTA-R1-8B 用多轮轨迹采样端到端 RL 做工具集成推理，11 benchmark 超同尺寸 SOTA 9.5–18.7%。
- **优点**：① 环境设计（标准化工具接口+可验证反馈+轨迹日志）是真正可复用的基础设施贡献；② 多轮轨迹端到端 RL 让模型学"何时/调什么工具"，而非预设；③ 8B 跨 11 基准大幅领先，是"think with images"的强证据。
- **不足**：① 工具是 grounding/parsing 等"推理辅助"，未专门针对"感知修复"；② 端到端 RL 轨迹长、reward 稀疏，训练成本高；③ 11 基准多为 VQA，缺严格多图/视频；④ 与 DeepEyes（P 同方向）高度同质，红海。
- **可延展信号**：把 VISTA 的工具从"推理辅助"重定向为"感知修复"（放大/重裁/再编码）→ Idea 6 的 ToolPerceive。

---

## 2. 方向发展态势

### 2.1 技术演进脉络

1. **SFT 冷启动 → R1-Zero 式纯 RL（2024 末–2025 初）**：`MM-Eureka (arXiv'25)` 首次在 VLM 复现 R1-Zero 涌现，证明无需 CoT 标注也能激发推理；但熵崩溃、不稳定。
2. **GRPO/PPO 主导 + verifiable reward（RLVR，2025）**：`Vision-R1 (arXiv'25, 636)`、`VLM-R1 (arXiv'25, 515)` 用 rule-based reward（答案对/格式对）取代 reward model，降低记忆开销，成为事实标准。
3. **稠密信用分配补丁（2025 中）**：`Visual-RFT (ICCV'25, 540)` 的 BRO、`R1-VL/StepGRPO` 的 soft key-step matching、APPO 的 token 级感知 reward，都在修补 GRPO 序列级 reward 的粗粒度。
4. **多任务/统一 generalist（2025 下）**：`OneThinker`、`LMM-R1 (arXiv'25, 270)`、`GUI-R1 (arXiv'25, 240)` 把 RL 推到图像+视频+agent 统一。
5. **"think with images" 工具增强（2025 下–2026）**：`DeepEyes (arXiv'25, 283)`、`VISTA-Gym (CVPR'26)` 让模型主动调用视觉工具，从"about images"转向"with images"。
6. **机制可解释 + 感知瓶颈反思（2026）**：`APPO`、`VI-Probe`、`Where Does Vision Meet Language` 共同把注意力从"怎么推理"拉回"模型到底看没看到"——范式正从"推理驱动"转向"感知-推理解耦"。
7. **非自回归新范式（2026）**：`LLaDA-V` 把扩散 MLLM 推到前台，为"并行感知假设/视觉 infilling"提供 AR 不具备的结构。

每次转移解决的问题与引入的新问题：
- RLVR 解决了奖励标注成本 → 引入 reward hacking 与序列级信用分配粗。
- 稠密 reward 解决了信用分配 → 引入"何为正确中间步"的定义难题。
- 工具增强解决了动态感知 → 引入长轨迹稀疏 reward 与工具调用游戏。
- 感知反思解决了"盲目堆推理" → 暴露"感知不可被文本 RL 直接优化"的硬约束。
- 扩散范式解决了 AR 的顺序瓶颈 → 引入"如何对扩散轨迹做 RL/reward"的开放问题。

### 2.2 关键外部文献（2024–2026，不含本批 17 篇）

| 文献 | 年份/会议 | 一句话贡献 | 与本方向关系 |
|---|---|---|---|
| Vision-R1 | arXiv'25 (636) | 冷启动 SFT+GRPO 激发多模态推理 | RLVR 多模态开山，红海源头 |
| VLM-R1 | arXiv'25 (515) | 稳定可泛化的 R1 式 VLM，GRPO 做 grounding | 验证 GRPO 泛化性 |
| Visual-RFT | ICCV'25 (540) | 视觉强化微调，BRO 双向角色信用分配 | token 级信用分配参照 |
| CoT-VLA | AAAI'25 (524) | 视觉 CoT 用于 VLA | 视觉推理链范式 |
| Video-R1 | arXiv'25 (481) | 视频推理 RL，时序依赖 reward | 视频域 RLVR |
| DeepEyes | arXiv'25 (283) | RL 激励"用图像思考"主动感知 | think-with-images 代表 |
| LMM-R1 | arXiv'25 (270) | 两阶段 RL 赋予 3B LMM 强推理 | 小模型 RL 可行 |
| MM-Eureka | arXiv'25 (201) | 规则 RL 探索 VLM 中 R1-Zero 涌现 | R1-Zero 多模态首证 |
| GUI-R1 | arXiv'25 (240) | R1 式 VLA 用于 GUI agent | RL+agent |
| SFT or RL? | TMLR'25 (226) | R1 式 VLM 训练早期调研 | 方法学对照 |
| MedVLM-R1 | MICCAI'25 (206) | 医疗推理 RL | 领域 RLVR |
| Time-R1 | NeurIPS'25 (130) | 时序视频定位 RL | 视频时序 |
| VisuLogic | arXiv'25 (91) | 视觉推理基准，证 RL 有效 | 视觉推理评测 |
| R1-VL / StepGRPO | arXiv'25 | soft key-step 匹配做稠密视觉 reward | 稠密 reward 参照 |
| SophiaVL-R1 | arXiv'25 | 推理过程 reward（对错差加权） | 过程 reward 探索 |
| Hint-GRPO | arXiv'25 | 用图文条件预测差强制视觉落地，治文本偏置 | 治"忽略图" |
| Reinforced MLLM (Survey) | arXiv'25 | 首个 RL 多模态推理系统综述 | 脉络总览 |

### 2.3 当前 SOTA 格局与主流评测

- **数学/综合推理**：MathVista 上 `VL-Rethinker-72B` 达 ~80.3（survey 引）；MMMU-Pro、MathVision、MathVerse 由 72B 级专有/开源模型领跑，7B/8B 级（Qwen2.5-VL-7B + RL）通常在 60–72 区间。
- **幻觉/感知保真**：HallusionBench、MMVP、BLINK（视觉感知与像素级比对）、CV-Bench（空间/计数）、MME-RealWorld（真实场景鲁棒性）是感知灵敏度主战场。
- **视频**：VideoMME、V*Bench（需主动视觉搜索）测时序与细粒度。
- **主流 backbone**：Qwen2.5-VL-3B/7B、InternVL3、LLaVA-OneVision、Qwen2-VL 是 RL 实验主力；72B 级多作教师/蒸馏源。
- **训练范式事实标准**：GRPO + rule-based reward（答案+格式），辅以 DAPO/Dr.GRPO 稳训练；PPO 因需 critic 在 8 卡上渐少。
- **共识数字感**：在 7B 级，单轮 GRPO 通常在 MathVista/MathVision 上 +3–8 点；工具增强（DeepEyes/VISTA）在需细粒度感知任务上额外 +9–18 点——**增益差异本身就暗示感知才是天花板**。

### 2.4 方向级根本缺陷（Open Gaps）

G1. **感知被当作隐变量，无法被 RL 显式优化**。GRPO 的 reward 只判最终答案，模型即使"看错"也可能靠先验蒙对；"看没看到"不可微、不可奖。重要：APPO 已暗示感知是瓶颈，但尚无把感知做成独立可优化目标的通用框架。
G2. **序列级 reward 的视觉信用分配缺失**。一条轨迹里哪些 token 对应"正确感知了关键区域"无法归因；BRO/APPO 用注意力近似，但注意力≠感知真值。
G3. **"think with images" 的工具调用是预设/粗粒度**。DeepEyes/VISTA 让模型调 grounding/parsing，但"何时该重新看、看哪"未被诊断驱动，且未针对"感知修复"。
G4. **多模态过程奖励模型（PRM）几乎空白**。文本 PRM（Math-Shepherd）成熟，但视觉步骤的"该步是否真的看了正确区域"无 verifier；ARM-Thinker 是 outcome RM，非 process。
G5. **感知-推理解耦的 scaling law 缺失**。我们只知"感知更重要"（APPO 单点证据），但不知道感知容量/推理容量如何联合缩放、数据如何配比——决策层空白。
G6. **扩散式 MLLM 的 RL 范式未建立**。LLaDA-V 证明可行，但 GRPO 依赖可采样完整轨迹、扩散采样贵且 reward 稀疏；"如何对双向/infilling 轨迹做 RL"是开放问题，也是 2026 窗口红利。
G7. **评测混淆感知与推理**。MMMU/MathVista 失败可能是看错也可能是想错，benchmark 不区分；VI-Probe 只在错觉域，缺通用归因协议。
G8. **视觉编码器微调的 context 冲突未根治**。CoVFT 用 MoE 缓解，但 context 来自未充分训练的连接器，且未与感知 verifier 联动。

### 2.5 红海警告（不建议投入的子问题）

> **红海核心：纯 RLVR 变体（再造一个 GRPO/DAPO 的 module/系数/采样 trick）已极度拥挤。** 证据：2025 年 arXiv 上 Vision-R1/VLM-R1/Video-R1/MM-Eureka/LMM-R1/GUI-R1/MedVLM-R1/DeepEyes/VISTA-R1… 几十个"X-R1"，方法学高度同质（冷启动 SFT + GRPO + rule reward），差异仅在任务/数据。**除非能论证非平凡机制洞察，否则"给 Y 加个 GRPO""把 GRPO 换成 DAPO 变体""换 backbone 重跑 RLVR"都不建议做。**

具体不建议碰：
- **通用 RLVR 多模态推理（无新 reward/无新诊断）**：已饱和，审稿人第一问就是"与 Vision-R1/VLM-R1 的 delta"。
- **单任务 X-R1（医疗/遥感/GUI/3D 的 GRPO 重跑）**：领域适配红利耗尽，除非任务带来新 reward 设计（如几何/时空约束）。
- **纯 benchmark 文（只造榜不嫁方法）**：MIRACLE 类已多；本批 idea 至多 1 个偏基准+方法。
- **纯 survey / 纯可解释性探针（只诊断不给治法）**：VI-Probe 式已出现，需与治疗结合。

**蓝海（应投入）**：感知作为显式可优化目标（G1/G5）、视觉信用分配新机制（G2）、多模态 PRM（G4）、诊断驱动的感知工具（G3）、扩散 MLLM 的 RL（G6）、感知-推理归因协议（G7）。

---

## 3. 六个可扩展 Idea

### Idea 1：PerceptDiag —— 感知-推理归因（PRA）任务与可诊断化协议
1. **标题**：PerceptDiag: Disentangling Perception from Reasoning via Controlled Perturbation Attribution
2. **一句话 Pitch**：提出"感知-推理归因（PRA）"新任务——给定 VLM 与一题，自动报告其错误中有多少归因于没看到、多少归因于想错，输出可比较的 Perception Bottleneck Index (PBI)。
3. **切入的 Gap**：G7（评测混淆感知/推理）+ VI-Probe（P105）只诊断不通用 + APPO 的"感知更重要"缺因果归因。
4. **核心技术方案**：
   - 复用 VI-Probe 的"受控扰动 + 匹配对照"协议，泛化到自然图像：对一题生成 k 个扰动版（加噪/局部遮挡/区域高亮/反色），每个配一个"视觉内容等价但无 inducer"的匹配对照。
   - 定义 **Perception Bottleneck Index**：`PBI = 1 - (Acc_orig - Acc_recall_controlled) / (Acc_orig - Acc_perturbed)`，其中 recall_controlled 用语言先验版（遮图只给题）测"纯记忆"，perturbed 测"感知被破坏"。PBI 高=感知是主因。
   - 训练一个轻量 **归因分类器** `Aφ(img, q, ŷ, trace)`：在轨迹上做 token 级表征 + 扰动敏感性特征，预测该步失败属感知/推理/记忆。用自动标签（扰动一致性）监督，无需人工。
   - 与最接近工作（VI-Probe）的 delta：VI-Probe 只在错觉域、指标需人工定义 inducer；我们用**自然图像自动扰动 + 可训练归因器 + 跨任务 PBI**，使其成通用诊断工具。
5. **新颖性反驳**：审稿人会说"这就是 VI-Probe 的扩展"。反驳：VI-Probe 是探针实验，我们定义的是**可大规模自动运行的归因任务与可比较指标 PBI**，并能输出 per-step 归因供下游训练（Idea 2/5 直接消费），是任务定义而非复现。
6. **实验方案**：
   - 数据集：MMMU / MathVista / MathVerse / BLINK / HallusionBench / MMVP / MIRACLE（公开），自造扰动版（自动 pipeline，API 成本 ~$200）。
   - Baselines：VI-Probe（仅错觉）、人类归因标注、随机归因、仅答案准确率。
   - 主表：行=方法，列=PBI 准确率 / 归因 F1 / 与人工标注一致性（κ）/ 跨模型排序稳定性。
   - 消融：① 扰动类型数对 PBI 稳定的影响；② 归因器是否需训练（零样本 vs 训练）；③ 匹配对照是否必要；④ PBI 对分辨率/backbone 的敏感性。
   - 分析：画 7B vs 72B 的 PBI 分布，验证"小模型感知瓶颈更尖"；案例可视化归因热力。
   - 评价：含人工评测（200 题双标）验证归因一致性。
7. **8×L40 可行性**：归因分类器用 Qwen2.5-VL-3B LoRA + 一个小 MLP head；训练 ~30 GPU·h（微调 head+LoRA）。扰动生成用 API + 脚本，不占 GPU。总预算 < 100 GPU·h。风险低。
8. **风险与退路**：若归因器 F1 不高，退路是"只发布 PBI 协议 + 人工验证研究"（仍可投 dataset/benchmark track）。

### Idea 2：PerceiveRL —— 把感知能力作为 RL 的显式优化目标
1. **标题**：PerceiveRL: Perception-Conditioned Reward Shaping for Multimodal RL
2. **一句话 Pitch**：在 GRPO 上叠加一个**可学习的感知验证器**给出的稠密感知 reward，让 RL 不只奖"想对"，也奖"真看到了"，并按 EMA 平衡感知/推理 reward 异质性。
3. **切入的 Gap**：G1（感知不可被 RL 优化）+ G2（视觉信用分配）+ APPO（P0）用注意力近似而非真验证 + OneThinker 的 EMA-GRPO 异质性（P66）。
4. **核心技术方案**：
   - 冻结一个 **Perception Verifier** `Vψ(img, q, region_attn, claim)`：输入图像、问题、模型声称看到的内容（从轨迹抽取 spans），输出"该感知声明是否被图像支持"的 0–1 分。用自动构建的 (claim, support/refute) 对训练（来自 VI-Probe 扰动 +  grounding 标注）。
   - 总 reward：`R = R_answer + λ·R_percept`，其中 `R_percept = mean_t Vψ(claim_t)`，token 级。优势估计改为 `Â_t = Ā_group + β·(Vψ_t − V̄_group)` —— 把感知信用分配到具体 token（补 G2）。
   - 用 EMA 跟踪 `σ_percept`、`σ_answer` 的滑动标准差，按 `w_p = σ_answer/(σ_percept+σ_answer)` 动态平衡（接 P66 的 EMA 思想，但针对感知/推理两类 reward）。
   - 与 APPO 的 delta：APPO 用注意力挑"感知 token"再组内优化（无验证器、无显式感知目标）；PerceiveRL 有**显式可学习的"看没看到"验证器**并直接进 reward，且感知/推理 reward 解耦平衡。
5. **新颖性反驳**：审稿人："又一个 GRPO 变体"。反驳：我们不改进 GRPO 优化器，而是**首次把'感知'作为独立可微可奖的目标接入 RL**，且验证器带来真正的视觉信用分配（非注意力近似）；这是目标定义创新，非优化器 trick。
6. **实验方案**：
   - 数据集：MathVista / MathVerse / BLINK / CV-Bench / HallusionBench / MME-RealWorld / V*Bench。
   - Baselines：GRPO、DAPO、APPO（P0）、Hint-GRPO、SFT-only。
   - 主表：行=方法，列=上述 7 benchmark（总/感知敏感子项/推理子项）。
   - 消融：① λ=0（纯答案）vs 调 λ；② 验证器冻结 vs 联合训练；③ token 级感知优势 vs 序列级；④ EMA 平衡开/关。
   - 分析：用 Idea 1 的 PBI 追踪训练前后"感知归因错误"下降；可视化哪些 token 获感知优势。
   - 评价：GPT-as-judge 仅用于开放性描述，主指标客观。
7. **8×L40 可行性**：backbone Qwen2.5-VL-7B，验证器用 InternVL3-2B 冻结。GRPO + LoRA（r=64）+ ZeRO-2 + grad ckpt，8 卡。验证器训练另 ~200 GPU·h。主实验 ~900 GPU·h，总 ~1200 GPU·h。可行。
8. **风险与退路**：若验证器噪声大导致 reward hacking（模型学会写易验证的 trivial claim），退路是"只做感知优势重加权（不用生成 claim）"——仍稳过 GRPO。

### Idea 3：PerceiveScale —— 感知-推理解耦的 Scaling Law 与数据配方
1. **标题**：PerceiveScale: A Disentangled Scaling Law for Perception and Reasoning in MLLMs
2. **一句话 Pitch**：联合缩放感知容量（视觉编码器尺寸/分辨率/帧数）与推理容量（LLM 尺寸），拟合"下游准确率 = f(P, R, D)"的可预测定律，给出"何时该加感知而非加推理"的数据/算力决策表。
3. **切入的 Gap**：G5（解耦 scaling law 缺失）+ APPO 单点结论需系统化 + VOLD（P88）"文本教师教不了感知"的机制佐证。
4. **核心技术方案**：
   - 设计 3×3×k 网格：感知轴 {CLIP-ViT-L/14, SigLIP-SO-400M, InternViT-6B} × 分辨率 {336, 504, 728} × 推理轴 {Qwen2.5-0.5B, 3B, 7B}，在统一连接器与数据下训练。
   - 用 Idea 1 的 PBI 把每点误差拆成感知项 `E_P` 与推理项 `E_R`；拟合 `E_P ≈ a·P^{-α} + b·R^{-β}·(term)`，分别估计感知/推理的 scaling 指数。
   - 输出 **决策准则**：当 `∂Acc/∂P > ∂Acc/∂R` 时优先扩感知（多数细粒度/视频任务）；反之扩推理。给出 8×L40 预算下的"性价比最优配置"。
   - 与 APPO 的 delta：APPO 只比 7B→32B 感知 vs Qwen3-8B→o3 推理两个点；我们给**连续、可控、可预测的定律**与数据配方，且覆盖图像+视频。
5. **新颖性反驳**：审稿人："就是个算力实验"。反驳：我们产出的是**首个感知-推理解耦的 scaling 定律与可操作决策表**，且用 PBI 做因果拆分（非黑箱曲线）；类似 Kaplan/Muennighoff 的 LLM scaling law，但首次针对多模态双容量。
6. **实验方案**：
   - 数据集：统一 SFT 混合（LLaVA-OneVision 式）+ 评测 MMMU/MathVista/BLINK/CV-Bench/VideoMME/V*Bench。
   - Baselines：单扩推理（只换 LLM）、单扩感知（只换 encoder/分辨率）、同时扩。
   - 主表：行=配置，列=感知指数 α / 推理指数 β / 各 benchmark / PBI 拆分。
   - 消融：① 分辨率 vs encoder 尺寸谁主导感知；② 视频帧数对感知指数的影响；③ 数据量 D 的耦合项。
   - 分析：画 iso-accuracy 曲线，标出"感知拐点"。
   - 评价：客观指标为主。
7. **8×L40 可行性**：用 0.5B/3B/7B × 3 编码器，全参 SFT（非 RL）ZeRO-2，9 配置 × ~120 GPU·h ≈ 1080 GPU·h + RL 验证 ~300。总 ~1400 GPU·h，在 2500 内。需严格排期。
8. **风险与退路**：若指数估计不显著（容量区间窄），退路是"发布感知/推理瓶颈的诊断报告 + 配置建议"（empirical 贡献仍可被 TMLR/ workshop 接收）。

### Idea 4：DiffuV-Reason —— 扩散式 MLLM 的双向视觉推理（高回报）
1. **标题**：DiffuV-Reason: Parallel Perception Hypothesis and Visual Infilling for Diffusion MLLMs
2. **一句话 Pitch**：利用 LLaDA-V 的双向注意力与 infilling，让模型**并行生成多个"感知假设"并以视觉 infilling 自我验证**，实现自回归做不到的"用图像思考"。
3. **切入的 Gap**：G6（扩散 MLLM 的 RL 范式空白）+ LLaDA-V（P11）独特性质未开发 + "think with images"在 AR 下受顺序限制。
4. **核心技术方案**：
   - **并行感知假设**：对一图，扩散 MLLM 可对任意顺序 token 去噪——让模型同时生成 N 个 masked 区域候选（"可能是红车""可能是行人"），用双向注意力互相约束，由验证器（Idea 2 的 Vψ）并行打分选优。AR 必须串行、且不能回看。
   - **视觉 infilling 验证**：在推理轨迹中插入 `[VIS_MASK]` 占位，模型对其"想象补全"成 crop/区域描述，再用 Vψ 比对原图该区域——形成"假设→视觉落地→确认"闭环，天然支持 infilling。
   - **扩散 RL**：把 GRPO 改为 **mask-diffusion GRPO**——对同 prompt 采 G 条去噪轨迹，reward = 答案对 + infilling 一致性；因扩散并行，G 条轨迹采样成本远低于 AR 的 G 次自回归。
   - 与 DeepEyes/VISTA 的 delta：它们是 AR + 外部工具；我们用**模型内双向 infilling 自我验证**，无需调用外部工具，且并行假设是扩散独有。
5. **新颖性反驳**：审稿人："LLaDA-V 已做多模态"。反驳：LLaDA-V 只做指令微调与评测，我们首次定义**扩散 MLLM 的 RL 目标与'视觉 infilling 自我验证'推理范式**，是范式而非复现；且 2026 该窗口几乎无人占。
6. **实验方案**：
   - 数据集：BLINK / CV-Bench / V*Bench（需主动视觉搜索）/ HallusionBench / MathVista（视觉几何）/ MIRACLE（多图）。
   - Baselines：LLaDA-V（原）、Qwen2.5-VL-7B+GRPO、DeepEyes、VISTA-R1-8B。
   - 主表：行=方法，列=上述 benchmark（尤其 V*Bench 主动搜索、BLINK 像素比对）。
   - 消融：① 并行假设数 N；② infilling 验证开/关；③ 扩散 GRPO vs SFT-only；④ 双向注意力 vs 因果掩码（对照）。
   - 分析：可视化 infilling 补全图、并行假设筛选过程；测"思维预算 vs 准确率"曲线（扩散可任意步数）。
   - 评价：客观为主，开放题 GPT-as-judge。
7. **8×L40 可行性**：基于 LLaDA-V（~8B）LoRA + 扩散训练（需保留多步去噪，显存高）。8 卡 ZeRO-2 + grad ckpt，每步多步去噪使吞吐约为 AR 的 1/3；主实验 ~1800 GPU·h，逼近上限。降级：用 3B 扩散（若 LLaDA 有 3B 变体）或只做 infilling 推理不改训练。
8. **风险与退路**：若扩散 RL 不稳定/奖励稀疏崩溃，退路是"只做推理时 infilling 验证（training-free），接 Idea 2 验证器"——仍能发"扩散 MLLM 的视觉自我验证"方法文。

### Idea 5：VisPRM —— 多模态过程奖励模型与视觉信用分配（高回报/Oral 候选）
1. **标题**：VisPRM: A Visual-Grounded Process Reward Model for Multimodal RL
2. **一句话 Pitch**：训练一个**逐步骤、视觉落地校验**的过程奖励模型——每步推理是否被图像正确区域支持都打分，解决"中间步对但靠幻觉"的信用分配难题。
3. **切入的 Gap**：G4（多模态 PRM 空白）+ G2（视觉信用分配）+ ARM-Thinker（P115）是 outcome RM 非 process + Visual-RFT 的 BRO 需真过程标签。
4. **核心技术方案**：
   - 自动造 **过程标签**：对一条推理轨迹，用 Idea 1 的扰动协议在每步"对应图像区域"做局部遮挡/高亮，若某步结论随该区域扰动而翻转 → 标记该步"视觉依赖且当前正确/错误"，得 step-level label（无需人工）。
   - VisPRM `Mθ(trace, img)`：在每步输出 step reward `r_t∈[-1,1]`，损失用偏好对（同题两条轨迹，对/错路径）的 Bradley-Terry + 区域扰动一致性正则。
   - 用于 RL：把 GRPO 的序列 reward 替换为 `R = Σ_t r_t`（过程）+ 答案 term；**视觉信用**自然落到"真正看图的那步"。
   - 与 ARM-Thinker 的 delta：ARM-Thinker 是给"最终判分"的 agentic outcome RM；VisPRM 是给 RL 训练用的**过程级**、且用图像区域扰动自动标 step，无工具调用成本。
5. **新颖性反驳**：审稿人："就是文本 PRM 加图"。反驳：文本 PRM 的 step 标签来自 Math-Shepherd 式自一致性，对"该步是否真看了图"无能为力；我们用**图像区域扰动反事实**产生视觉过程标签，这是多模态专属、且直接服务信用分配。
6. **实验方案**：
   - 数据集：MathVista / MathVerse / MathVision / LogicVista / V*Bench（需看图步骤）。
   - Baselines：无 PRM（GRPO 序列）、文本 PRM（Math-Shepherd 迁移）、ARM-Thinker（outcome）、Visual-RFT-BRO。
   - 主表：行=方法，列=上述 benchmark + 过程标签准确率 + 训练稳定性（reward 方差）。
   - 消融：① 区域扰动 step 标签 vs 自一致性标签；② 过程项权重；③ PRM 冻结 vs 联合迭代（iterative RM）；④ step 粒度（句/CRU）。
   - 分析：可视化每步 step reward 与"真实看图步"的对齐；展示 reward hacking 案例（答案对但过程幻觉被 VisPRM 识破）。
   - 评价：客观 + 抽样人工核对 step 标签质量。
7. **8×L40 可行性**：VisPRM 用 Qwen2.5-VL-3B LoRA 训练（过程标注自动生成，不占标注费），~400 GPU·h；下游 RL 用 7B + ZeRO-2，~800 GPU·h。总 ~1200 GPU·h。
8. **风险与退路**：若 step 标签噪声高，退路是"把 VisPRM 当诊断工具（Idea 1 升级版）发布，标出幻觉步骤"，仍可投。

### Idea 6：ToolPerceive —— 诊断驱动的感知修复工具智能体（高回报）
1. **标题**：ToolPerceive: Diagnosis-Driven Perception Repair via Active Visual Tools
2. **一句话 Pitch**：用 Idea 1 的 PBI 实时诊断"当前感知不足"，让 VLM **自主调用放大/重裁/再编码工具修复感知**，而非泛化地"用图像思考"。
3. **切入的 Gap**：G3（工具调用未被诊断驱动、未针对感知修复）+ VISTA-Gym（P126）/DeepEyes 工具偏推理辅助 + APPO 感知瓶颈。
4. **核心技术方案**：
   - 在 VISTA-Gym 式环境上增 **感知修复工具**：zoom(region)、recrop(box)、reencode(encoder_switch)、attention_highlight（借用 P5 对比注意力）。
   - 训练时用 PBI 风格的**在线诊断信号**：若模型对某区域置信度低（dropout 一致性 / 重裁后答案变）→ 触发 tool-call reward `R_tool = 1[调用修复了感知]`；用多轮 RL 学"何时调、调哪个"。
   - **解耦目标**：reward = R_answer + γ·R_perception_repair（仅当工具真正提升感知时给奖），避免无谓调用。
   - 与 VISTA-R1 的 delta：VISTA 工具是 grounding/parsing（帮推理），ToolPerceive 工具专治**感知失败**且由诊断信号触发，目标与奖励都不同。
5. **新颖性反驳**：审稿人："就是 VISTA 加了个 zoom"。反驳：VISTA 无"感知诊断→触发"机制、奖励不区分感知修复；我们把**感知瓶颈作为一等目标**，且证明对 PBI 高的题（感知主导）增益最大——这是首次把 APPO 的"感知更重要"落到可学习的工具策略。
6. **实验方案**：
   - 数据集：V*Bench / BLINK / CV-Bench / HallusionBench / MIRACLE（多图高密感知）/ MME-RealWorld。
   - Baselines：VISTA-R1-8B、DeepEyes、无工具 GRPO、随机工具调用。
   - 主表：行=方法，列=上述 benchmark（按 PBI 高/低分组报告，验证"感知主导题增益最大"）。
   - 消融：① 诊断信号开/关；② 工具集（仅 zoom vs 全）；③ γ 权重；④ 多轮深度。
   - 分析：案例展示"看错→调 zoom→纠正"；画 PBI 与工具调用相关性。
   - 评价：客观为主。
7. **8×L40 可行性**：环境基于 VISTA-Gym 改造（工具推理不占 GPU，仅策略模型训练）。Qwen2.5-VL-7B + GRPO 多轮 + ZeRO-2，~1000 GPU·h；诊断信号用轻量 LoRA 归因器 ~100 GPU·h。总 ~1100 GPU·h。
8. **风险与退路**：若工具调用学不会（稀疏 reward），退路是"用 Idea 1 PBI 做静态路由：PBI 高管自动预放大"，作为推理时策略发方法文。

---

## 4. 优先级建议

| Idea | 新颖度 | 工作量 | 风险 | 8×L40 契合度 | 推荐投稿目标 | 建议启动顺序 |
|---|---|---|---|---|---|---|
| 1 PerceptDiag | 中高（新任务） | 低（~100 GPU·h） | 低 | 高 | CVPR/NeurIPS（dataset&benchmark） | 1（先做，供 2/5 消费） |
| 2 PerceiveRL | 高（首显式感知目标） | 中（~1200 GPU·h） | 中 | 高 | CVPR/ICLR | 2 |
| 3 PerceiveScale | 中高（首解耦定律） | 中高（~1400 GPU·h） | 中 | 中 | ICLR/TPAMI（empirical） | 4 |
| 4 DiffuV-Reason | 极高（范式空白） | 高（~1800 GPU·h） | 高 | 中（逼近上限） | CVPR/Oral 候选 | 5（窗口红利，尽早） |
| 5 VisPRM | 高（多模态 PRM） | 中（~1200 GPU·h） | 中 | 高 | NeurIPS/ICLR | 3 |
| 6 ToolPerceive | 高（诊断驱动感知） | 中（~1100 GPU·h） | 中 | 高 | CVPR/ICCV | 6 |

**梯度自检**：低风险稳定中稿 = Idea 1、2、3（≥2 ✓）；高风险高回报/oral = Idea 4、5、6（≥2 ✓）；新问题/任务定义 = Idea 1（PRA 任务 ✓）。均避开"纯 GRPO 变体"，感知瓶颈由 2/3/6 深入，扩散范式由 4 独占，benchmark 明确落到 MMMU/MathVista/MathVerse/MathVision/HallusionBench/MMVP/BLINK/CV-Bench/MME-RealWorld/V*Bench/VideoMME/MIRACLE，backbone 围绕 Qwen2.5-VL-3B/7B、InternVL3、LLaVA-OneVision。