# M11｜跨模态检索与多模态 RAG

## 0. 方向速览

本方向解决"怎么把对的东西找出来、并把找出来的东西可信地喂给多模态生成模型"。跨模态检索（图像/视频/文档/4D 时空）与多模态 RAG（MM-RAG）在 2024–2026 年经历两次范式转移：(i) embedding 层从"CLIP 双塔单向量"转向"VLM 指令化 embedding（VLM2Vec、MM-Embed、E5-V）与 late-interaction 多向量（ColPali）"；(ii) 系统层从"检索一次就生成"转向"检索-推理-验证的 Agentic 循环"。当前卡点不再是"召回率再高几个点"，而是：推理密集型查询召不回（RMIR 最好模型仅 46.5% R@20）、检索噪声与证据冲突如何被验证与归因（CRAG-MM truthfulness 仅 32%）、以及 4D/视频时空片段的检索与推理几乎没有统一范式。红海在"再训一个更强的双塔 embedding"，蓝海在"检索+推理/Agentic RAG/证据可信"。

---

## 1. 论文逐篇评析

### [P46] RMIR: A Benchmark Dataset for Reasoning-Intensive Multimodal Image Retrieval

- **核心贡献**：提出首个"推理密集型多模态图像检索"基准 RMIR（1634 查询，functional/temporal/causal 三类推理），并给出可扩展的自动化数据生成流水线；评测显示生成式 embedding 模型（显式推理）显著优于判别式 CLIP 类模型，且"推理感知训练"比"模型规模"更有效。
- **优点**：
  1. 把检索任务从"表面匹配"推进到"逻辑推理"：functional（物体 affordance）、temporal（时间关系）、causal（因果）三分类是清晰的任务分层，直接暴露了纯对齐式 embedding 的天花板。
  2. 关键实证结论有信息量：46.53% R@20 的绝对水平 + "推理感知训练 > 规模"的发现，给后续方法提供了可检验的杠杆。
  3. 数据生成流水线开源，可扩展到更大规模，降低了后续工作造数据的门槛。
- **不足**：
  1. 查询仅 1634 条，且候选池规模未披露；若候选池太小，R@20 会有膨胀。更关键的是没有对照组证明"查询必须推理才能答对"——若 20% 的查询可由表面匹配蒙对，基准信度打折。
  2. "推理感知训练"具体是 SFT 还是 RL 未在摘要层面说清；生成式 embedding 的推理来自 backbone（如 Qwen2.5-VL）的底座能力，很难分离"模型本身变强"和"训练策略变好"。
  3. 与 NIGHTS（CVPR'24，感知/逻辑类检索）、MuirBench 的 unanswerable 设计没有衔接——RMIR 缺"不可答/易混淆"负例控制，分类边界 gameable。
  4. functional/temporal/causal 的人工标注一致性未报告（affordance 的 ground truth 主观性极强）。
- **可延展信号**：把"推理感知训练"落实为可迁移的检索训练目标（如 reasoning-aware contrastive/RLHF），并补上"检索证据可验证"的环节——RMIR 天然适合做"检索-验证"闭环的测试床。

### [P56] ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering

- **核心贡献**：用"粗检索+细检索+critic 过滤"的多阶段管线 + RL 驱动推理训练（SFT 仅作冷启动）解决 KB-VQA 中检索精度低、噪声 passage、推理不足的问题，在 Encyclopedic-VQA 和 InfoSeek 上显著超过先前方法。
- **优点**：
  1. "critic 过滤噪声 passage"直击 MM-RAG 的第一杀手（检索噪声），且把过滤放在检索与生成之间，是一个干净的组件级贡献。
  2. "RL 增强检索后推理，SFT 仅冷启动"是正确顺序——纯 SFT 会让模型学会复述检索内容，RL 才能学会"什么时候信检索、什么时候反驳检索"。
  3. 提供基于检索证据的可解释推理，回应了可审计性诉求。
- **不足**：
  1. 与 EchoSight（EMNLP'24）、CoRe-MMRAG（ACL'25）边界不清：都是 KB-VQA 检索增强，ReAG 的 delta 主要是"critic + RL"，但 critic 在 Wiki-LLaVA 等中已有雏形，需要更强论证"critic 学到了什么、为何 RL 而非更简单的 rerank loss"。
  2. RL 阶段 reward 设计未展开：KB-VQA 答案正确性的 reward 是稀疏的，直接用 EM/ROUGE 会有 credit assignment 问题，若用 LLM-as-judge 又引入评估噪声，这是可攻击点。
  3. critic 是训练的还是提示词驱动的？若 critic 是 MLLM 提示驱动，则与 MM-Embed 的 zero-shot reranker（ICLR'25）本质相同，"critic"只是换个名字。
  4. 检索上限没讨论：Encyclopedic-VQA 检索 Recall@5 本身只有 ~31%（EchoSight 报告），当正确 passage 根本不在 top-k 里时，任何生成侧改进都无效——论文没有给"检索失败→生成失败"的分解分析。
- **可延展信号**：把 critic 升级为"证据验证器"（支持/反对/无关三分类 + 冲突检测），并把 RL 的目标从"答对"扩展到"答对且归因正确"——即可审计 KB-VQA。

### [P59] CogniVerse: Revolutionizing Multi-Modal Retrieval-Augmented Generation with Cognitive Reflection and Geometric Reasoning

- **核心贡献**：用"认知反思模块（决定要不要检索）+ Riemannian 流形对齐的跨模态检索 + 最优传输 loss 的分层生成"三件套解决 MM-RAG 的检索噪声、模态失配与生成不连贯。
- **优点**：
  1. "检索必要性判定"（CRM）是未被充分研究的子问题——很多查询根本不需要外部知识（VSI-Bench 类空间问题、常识问题），动态决定是否检索可同时降噪和省算力，方向正确。
  2. 把检索对齐从欧氏空间搬到 Riemannian 流形、用谱图理论精化 KG，至少在形式上给出了几何解释，属于"理论味道"的工作。
  3. 显式报告了检索延迟下降，工程角度加分。
- **不足**：
  1. 术语堆叠严重："信息几何 + 谱图 + 最优传输"三个数学工具之间的必要性论证薄弱，几乎可以断定 OT loss 与检索对齐没有因果联系——这是典型的"A+B+C 拼装"风险，审稿人会问"去掉 OT loss 到底掉几个点、为什么"。
  2. "认知反思"是一个认知科学隐喻，没有可复现的定义（什么时候触发反思？阈值？），与 Self-RAG（ICLR'24）的 token 级/段落级反射标记相比缺乏操作性。
  3. 没有具名 benchmark 数字（摘要未给任何数据集与对比基线），与 M2RAG（MM'25）、mRAG（arXiv'25）等有完整基准的方法无法对齐，实验可信度存疑。
  4. 检索的必要性判定与 ReAG 的 critic、Graph-to-Frame RAG 的 controller 功能重叠，未见与这些工作的区分实验。
- **可延展信号**：把"检索必要性判定"形式化为一个可学习、可评测的组件（检索决策应该是一个有标注的二分类/分层任务，而不是认知隐喻），这是可独立发表的最小单元。

### [P116] Gravitation-Driven Semantic Alignment for Text Video Retrieval（GraviAlign）

- **核心贡献**：把文本-视频检索中的"多对多"语义歧义建模为两个正交因子——基于不确定性的"语义吸引"（分布中心对齐，含 semantic mass/距离）与"几何重叠"（分布交叠），二者各有否决权；并用 O(D) 的闭式近似替代难解的联合积分。
- **优点**：
  1. 抓住了确定性 embedding 只能表示"均值语义"的根本缺陷，用分布（均值和不确定性）建模比现有 probabilistic 方法多考虑了"不确定性 × 相似度"的交互，问题定义清楚。
  2. "双因子独立否决权"是一个简洁的机制：几何重叠低（分布几乎不相交）时即便中心距离近也拒绝，这比单一软分数更符合检索直觉。
  3. 在 DiDeMo、MSR-VTT、ActivityNet 三个主流视频检索基准验证，且有消融。
- **不足**：
  1. 物理类比（引力/质量/距离）是叙事层，机制本质是"不确定性加权的马氏距离 + 重叠正则"，类比不产生新公式；审稿人会问"去掉引力叙述、写成 KL 正则，有什么不同"。
  2. 每个视频/文本估计一个分布（mean + variance）的计算开销在长视频上不可忽视，摘要未报索引/检索延迟，实际部署存疑。
  3. 只处理文本到视频检索，未触及 2025 年后的范式变化：VLM2Vec-V2 已经把视频检索纳入统一 embedding，late-interaction（Video-ColBERT、CVPR 的工作）在 token 级解决同一歧义问题——分布建模能否胜过 token 级精排缺乏对比。
  4. "多对多"的 ground truth 标注天然不完整（MSR-VTT 每句只有一个正样本），不确定性估计可能只是过拟合标注噪声。
- **可延展信号**：把"语义吸引 + 几何重叠"改造成 late-interaction 之上的**段级/事件级**相似度（每个视频片段一个分布），并连接到"检索正确的时空片段"这一 4D 问题。

### [P148] R4: Retrieval-Augmented Reasoning for Vision-Language Models in 4D Spatio-Temporal Space

- **核心贡献**：免训练框架，把对象级语义描述锚定到度量空间与时间轴上，持续构建"4D 知识库"（可跨 agent 共享的持久世界模型）；推理时把自然语言查询分解为语义/空间/时间三种 key 检索相关观测，经迭代检索-推理循环集成进 VLM。
- **优点**：
  1. 提出一个有吸引力的范式："RAG 的对象从 passage/图像变成 4D 时空记忆"，检索空间是结构化的（对象、位置、时间），这比"检索文本块"更贴近 embodied 推理。
  2. 免训练 + 跨 agent 共享记忆，工程上轻量、可复现性强。
  3. 语义/空间/时间三通道分解查询是合理的正交化设计，与任务有因果联系。
- **不足**：
  1. 对象级描述来自什么（检测器？captioner？），其错误如何传播到 4D 知识库完全没有机制保障——锚定误差会直接毒化检索，论文对"记忆污染"没有对策。
  2. 空间/时间 key 的匹配是硬规则还是可学习？embodied 场景中"左边""十分钟前"的指称不确定性高，规则式分解在真实导航中会崩。
  3. 评测只在 embodied QA 与导航基准上，4D 库规模小、域窄，与 VSI-Bench（5k QA）相比规模有限；没有在长时程（数小时级）记忆上验证。
  4. 与 RAG 经典方法的边界：本质是"结构化的 DPR"，记忆写入是单向的（只增不改），缺乏遗忘/去重/冲突更新机制。
- **可延展信号**：R4 留下最大的坑是"4D 记忆的可审计检索"——检索结果能否回溯到具体的时空证据、多个 agent 的记忆冲突如何消解；这直接连通本方向可信检索的命题。

### [P163] Graph-to-Frame RAG: Visual-Space Knowledge Fusion for Training-Free and Auditable Video Reasoning（G2F-RAG）

- **核心贡献**：把外部知识构建成视频知识图谱（实体/事件/空间关系/世界知识），在线阶段由分层多 agent 控制器决定是否需要外部知识，检索"最小充分子图"并渲染成一张"推理帧"拼到视频后，让 LMM 在统一视觉域内做联合推理——宣称"可审计、免训练、即插即用"。
- **优点**：
  1. 核心洞察犀利：把文本证据和视频帧塞进同一 attention 空间会稀释注意力（认知负荷），所以"把知识做成图、渲染成帧"是**表示与融合方式**的创新，而不是"检索了什么"的创新——这抓住了问题要害。
  2. 多 agent 控制器"是否需要知识"的判断 + "最小充分子图"的检索，做了检索预算控制。
  3. 视觉空间知识融合留下了显式、可检查的证据轨迹（渲染帧），auditable 落到具体机制。
- **不足**：
  1. 渲染帧是"一次性把知识画进去"——图到帧的渲染是信息有损压缩（子图节点/边被画成符号），复杂关系（因果链、数值）在渲染帧里表达力有限，这是可攻击点。
  2. "分层多 agent 控制器"的实现细节缺失（agent 用什么模型、如何通信、fail-safe 如何），多 agent 是当前最大的过度包装风险。
  3. 免训练同时意味着控制器与渲染器的行为不可学习，对"何时需要知识"的判定可能是启发式的，跨域泛化存疑。
  4. 与 G2F 最接近的边界工作：MMGraphRAG（arXiv'25）也做视频/文档场景图 + 图检索，G2F-RAG 的独特贡献仅在"渲染成帧"一步，需与"把子图转成文本描述"做严格消融才能证明渲染的必要性。
- **可延展信号**：把"渲染帧"从有损符号图升级为**证据块（evidence blocks）**——保留结构化证据的同时可被 LMM 验证；并研究"证据轨迹如何被自动审计"（渲染帧里的错误如何被检测与修正）。

### [P172] Self-guided Semantic Inspection for Zero-Shot Composed Image Retrieval（DiffComp）

- **核心贡献**：提出"差异驱动"的 ZS-CIR 训练框架 DiffComp：上下文语义超补丁（局部连贯视觉表征）+ 短语引导掩码（去除与文本对齐的视觉线索以诱导跨模态差异）+ 差异感知组合（按差异度自适应融合图文特征），在四个 ZS-CIR 基准上达到 SOTA。
- **优点**：
  1. "一致性驱动训练 vs 推理时的真实差异"的矛盾抓得准：现有 ZS-CIR 用图文对齐/重建目标训练，但推理时要处理的是图文不一致（参考图与修改文本天然有 gap），训练-推理不一致是真实缺陷。
  2. Phrase-guided Masking 是一个可操作且有消融支撑的机制——有选择地删除"与文本冲突"的视觉线索来诱导差异，机制清晰。
  3. 在 CIRR、CIRCO、FashionIQ、GeneCIS 四个基准验证，覆盖面完整。
- **不足**：
  1. 与 2024–2025 的 CIR 范式洗牌（Image2Sentence/LLM 改写：CIReVL、ISA、SETR、InstructCIR）没有正面交锋——当前 CIR 的 SOTA 被"图像转文本+LLM 改写"路线改写，DiffComp 仍停留在 CLIP 特征融合路线，报告"四基准 SOTA"可能是在旧范式内卷。
  2. 掩码的"短语"来自文本端，但具体如何定位"与短语对齐的视觉 cue"（哪个 patch？）没有说明，若依赖 CLIP 的 patch-text attention，会继承 CLIP 对齐误差。
  3. CIRR 的 Recall@K 已被证明对"候选池小、单标注"敏感（MM-Embed 指出 CIR 任务标注不完整问题），缺 mAP@5 在多标注基准（CIRCO）上的严格评测。
  4. "差异感知融合"的差异度打分与 GraviAlign 的"不确定性"有概念重叠，未见横向对比。
- **可延展信号**：把"差异诱导"思想迁移到 **CIR 的验证阶段**——检索到候选后，用"差异验证器"检查候选图与参考图的差异是否符合修改文本，这是"检索+推理/验证"在 CIR 上的自然落点。

---

## 2. 方向发展态势

### 2.1 技术演进脉络

**阶段一（2021–2023）：CLIP 双塔统治期。** 图文/视频检索全部建立在 CLIP/SigLIP 的对比对齐上：单向量、余弦相似度、双塔索引。优点是大规模、快；根本缺陷是"均值语义"——一个向量无法表达多义、属性级细节与空间/时间结构，推理型查询（RMIR 揭穿的）彻底失败。

**阶段二（2024–2025）：embedding 范式洗牌。** 三条新路线并行且互相竞争：
- **指令化通用 embedding**：E5-V（仅文本对训练即可迁移到图文）、VLM2Vec/MMEB（把 VLM 变成 instruction-following embedding，M-BEIR 16 任务统一评测）、MM-Embed（MLLM 双塔 + 模态感知难负样本 + 连续文本微调，同时登顶 M-BEIR 与 MTEB）、GME/VLM2Vec-V2（扩展视频与文档）。核心论断："VLM 是隐藏的强 embedding 模型"。
- **late-interaction 多向量**：ColBERT → ColPali（ICLR'25，文档页 patch 级多向量 + MaxSim）、ColQwen2/3、PLAID 加速；被 Weaviate/Qdrant/Vespa 工业吸收，成为"视觉文档 RAG"的新默认。代价是索引体积 10–100×，需要多向量库。
- **检索+推理的生成式转向**：Image2Sentence/CIReVL/ISA 把 CIR 变成"图像→文本→LLM 改写→文搜图"；检索从"匹配"变成"推理后匹配"。

**阶段三（2025–2026）：Agentic RAG 与可信检索。** 检索不再是一次性的：Self-RAG 的反射标记、ReAG 的 critic、CRAG-MM 的多阶段验证（query router → 多源检索 → 重排 → 双通道生成 → CoV 自洽验证）、OmniSearch 的检索规划 agent、G2F-RAG 的知识图+渲染帧。评估从"Recall@K"扩展到"truthfulness、可审计性、多轮、不可答判定"。同时 4D/时序检索萌芽：R4（4D 知识库）、moment retrieval（Ego4D NLQ、QVHighlights）、VSI-Bench（视频空间智能）把"检索什么"从图像/文档推进到时空片段。

**演进总结**：每次转移解决上一代的盲点，但引入新问题——通用 embedding 引入模态偏差（MM-Embed 实测），late-interaction 引入索引内存爆炸与推理缺失，Agentic RAG 引入不可复现的 agent 编排与检索噪声放大。2026 年的正确姿势是**让"推理与验证"成为检索的一等公民，而不是再训一个更强的匹配器**。

### 2.2 关键外部文献

| 文献 | 年份/会议 | 一句话贡献 | 与本方向关系 |
|---|---|---|---|
| ColBERT | SIGIR'20 | 文本 late-interaction（MaxSim） | 所有多向量检索的源头 |
| ColPali + ViDoRe | ICLR'25 | VLM patch 多向量直接嵌入文档页 | 图文检索范式转换的标杆 |
| ColQwen2 / ColQwen3 | arXiv'24/'25 | ColPali 的 Qwen-VL 版本 | 更强的 late-interaction 底座 |
| VLM2Vec + MMEB | ICLR'25 | 把任意 VLM 变 instruction embedding + 36 数据集基准 | 通用多模态 embedding 的标准训练框架 |
| VLM2Vec-V2 + MMEB-V2 | arXiv'25 | 扩展视频检索/时序定位等 78 任务 | 视频 embedding 的统一评测，直接对标视频 RAG |
| E5-V | arXiv'24 | 仅文本对训练多模态 embedding | 证明"对齐语义而非模态"可以省 95% 训练 |
| MM-Embed | ICLR'25 | MLLM 双塔 + 模态感知难负样本，M-BEIR+MTEB 双第一 | 通用检索的当前范式定义者 |
| UniIR | ACM MM'24 | 统一 8 类多模态检索任务训练 | M-BEIR 评测的另一代表 |
| mRAG | arXiv'25 | 系统拆解 MM-RAG 的设计空间（查询/候选模态配对） | MM-RAG 方法学的参照系 |
| CRAG-MM | arXiv'25 / KDD Cup'25 | 6.5K 单轮+2K 多轮可穿戴 MM-RAG 基准，truthfulness 仅 32% | 当前 MM-RAG 最强评测场，KDD 2025 |
| M2RAG | ACM MM'25 | 四任务 MM-RAG 基准（含多模态事实验证）+ MM-RAIT | 事实验证进 RAG 评测的先例 |
| MuirBench | arXiv'24 | 多图像理解基准 + 不可答变体设计 | "不可答/鲁棒"评测方法的模板 |
| Dyn-VQA + OmniSearch | ICLR'25 | 动态知识检索 + 自适应用户级检索规划 agent | Agentic MM-RAG 的代表作 |
| MMGraphRAG | arXiv'25 | 场景图+谱聚类跨模态实体链接的多模态 KG-RAG | 图结构多模态 RAG，G2F-RAG 的竞争边界 |
| EchoSight | EMNLP'24 | 冻结 EVA-CLIP 检索 Wiki + 重排器，KB-VQA 基线 | KB-VQA 检索增强的参照 |
| CoRe-MMRAG | ACL'25 | 双源（文本+图像）证据冲突消解 | 冲突消解在本方向的第一份工作 |
| Video-RAG | arXiv'24 | OCR/ASR/检测作为视觉对齐辅助文本 | 视频 RAG 的免训练范式 |
| VideoRAG | INLG'24 | 按查询检索 top-k 帧 | 帧级检索增强视频 QA |
| Re-ViLM | EMNLP'23 | Flamingo+检索，图像字幕零样本 | 检索增强 VLM 的早期代表 |
| iSEARLE + CIRCO | TPAMI'25 | 文本反转 ZS-CIR + 多标注开放域 CIR 基准 | CIR 与 CIRCO 的奠基 |
| CompoDiff + SynthTriplets18M | TMLR'24 | 扩散式 CIR + 1800 万合成三元组 | CIR 数据扩展路线 |
| Pic2Word | arXiv'23 | 伪词映射的 ZS-CIR 开山 | CIR 文本反转路线源头 |
| Image2Sentence ISA | arXiv'25 | 图像→句子 + 非对称结构（轻量 query 侧） | CIR 范式洗牌的代表 |
| SETR | arXiv'24 | 两阶段：交集粗检 + 多模态 LLM 精排验证 | "检索+验证"在 CIR 的雏形 |
| InstructCIR | arXiv'25 | 只用无标注图像+LLM 生成 CIR 数据 | CIR 数据范式转换 |
| CIR 综述 | TOIS'25 | 120+ 文献综述 | CIR 全貌 |
| LMR | TMM'25 | MLLM 生成描述桥接语义 gap 的 moment retrieval | 视频时序检索 + LLM 的结合 |
| QV-M22 / FlashMMR | arXiv'25 | 多 moment 检索（一条查询多个片段）+ 验证剪枝 | 时序检索走向"多片段" |
| Moment-GPT | AAAI'25 | 多智能体免训练零样本 moment retrieval | 视频检索 agent 化 |
| VSI-Bench | arXiv'24 | 5000+ 视频空间智能 QA（配置/测量/时空） | 4D 空间推理的评测基础 |
| Ego4D NLQ / GroundVQA | CVPR'21–25 | 第一人称长视频时序定位挑战 | 4D 时序检索的黄金数据 |
| Self-RAG | ICLR'24 | 反射标记自适应检索 | 文本侧 Agentic RAG 源头 |
| Chain-of-Verification | ACL'24 | 生成→验证→修改的减幻流程 | MM-RAG 验证机制的文本侧来源 |
| RAG-Check | arXiv'25 | 多模态 RAG 性能评测框架 | MM-RAG 评测新作 |
| NIGHTS | CVPR'24 | 感知偏好三元组基准 | 感知类检索评测的参考 |
| InfoSeek / Encyclopedic-VQA | CVPR'23 / arXiv'23 | 百万级 KB-VQA 基准（Wiki 知识库） | KB-VQA 的标准战场 |
| WebQA | CVPR'22 | 图文混合证据 QA | 混合证据检索评测早期基准 |

### 2.3 当前 SOTA 格局与主流评测

- **图文检索**：双塔路线以 CLIP 家族（SigLIP、EVA-CLIP-8B）为底座，Flickr30K R@1 ≈ 85–90、MSCOCO R@1 ≈ 65–72（CLIP-L 级别）；M-BEIR 上 MM-Embed 领跑（平均 R@5），InfoSeek 检索 Recall@5 ≈ 67–73（EVA-CLIP 视觉+FAISS 方案）。Late-interaction（ColPali 类）在视觉文档检索 ViDoRe 上平均 nDCG@5 约 81，大幅碾压 OCR+BM25/BGE 的 ~67。
- **CIR**：CIRR R@1 主流 50–57（含重排），CIRCO mAP@5 约 30–40，FashionIQ 平均 R@10 约 45–52。范式上"图像→句子→改写→文搜图"（ISA、CIReVL）正超过伪词文本反转（iSEARLE）与特征融合（DiffComp 类）。
- **视频检索/时序**：MSR-VTT 文搜视频 R@1 约 60–67（Video-ColBERT、X-CLIP 类）；Ego4D NLQ v2 时序定位最好 R@1 mean ≈ 26.8（OSGNet）；QVHighlights R1@0.5 约 60+。
- **MM-RAG**：CRAG-MM truthfulness 约 32–45%（SOTA 工业方案也在此区间），KDD Cup 2025 冠军提升 28%；Encyclopedic-VQA BEM 约 50–55（EchoSight/CoRe 水平），InfoSeek 精度约 55–62。主流 backbone：Qwen2.5-VL-7B/72B、MiniCPM-V 2.6、Llama-3.2-11B。
- **通用 embedding**：MMEB-V2 成为跨模态 embedding 的准标准（78 任务），Qwen2-VL 系 embedding（如 Qwen2.5-VL-Embed）与 NV-Embed 系文本 embedding 互不相让。

**格局判断**：检索侧的红利期已过（CLIP 与 late-interaction 各自的榜单都趋饱和，增量靠数据与蒸馏），MM-RAG 侧仍是大蓝海——32% 的 truthfulness 说明"把检索结果用好"远未解决。

### 2.4 方向级根本缺陷（Open Gaps）

- **Gap A｜检索质量与生成质量脱节（检索是瓶颈，但没人分层归因）**：Encyclopedic-VQA 检索 R@5 仅 ~31%，CRAG-MM 多源检索命中率低。所有 MM-RAG 论文都在改生成侧，却很少做"retrieval→answer 的错误归因分解"（检索失败占多少、检索成功但生成失败占多少、证据冲突占多少）。缺一个标准化的 MM-RAG 错误归因协议。
- **Gap B｜检索结果的证据性没有被建模**：检索返回的是"相关片段"，但 RAG 需要的是"支持答案的证据"。相关性≠可支持性（相关但过时、相关但矛盾、相关但来自低质源）。没有系统工作在证据粒度（claim-level entailment）上为多模态检索结果建模，Graph-to-Frame RAG 只做了"给来源引用"而没有"验证引用是否正确"。
- **Gap C｜跨模态对齐错误是 MM-RAG 特有的失败模式，无评测**：文本查询↔图像↔视频片段的指称（"图里这个东西的价格"）在跨模态检索时频繁错位。MM-Embed 证明 MLLM 检索有模态偏差；但这个偏差在 RAG 全流程中如何转化为答案错误，没有人测量。
- **Gap D｜时序/4D 检索缺乏统一范式**：moment retrieval、Ego4D NLQ、视频 RAG 各玩各的。"检索正确的时空片段"（不是整视频、不是单帧）→"用片段做时序推理"（因果、状态变化、事件排序）是一个尚未成形的任务空间；R4 只做了规则化雏形，late-interaction 在视频上的应用（Video-ColBERT）也只到整视频排序。
- **Gap E｜"检索必要性"与"检索预算"不可学习**：Self-RAG 有反射标记、ReAG/G2F 有 critic/controller，但都缺少带标注的"检索决策"数据与评测。什么时候不该检索（常识、空间推理、隐私/时效）、检索几次（多轮 agentic）仍是启发式。
- **Gap F｜证据冲突与多源消解无多模态基准**：CoRe-MMRAG 只做文本-文本双源调和；多源（图像-KG + web + 多图）之间出现数值/时空/属性冲突时如何消解、如何不答，无公开基准（MuirBench 的 unanswerable 是纯多图，不含外部检索冲突）。
- **Gap G｜记忆类检索（long-horizon + 可更新）缺失**：R4 的世界模型记忆只增不改；真实 agent 需要遗忘、去重、记忆版本化。跨 agent 共享记忆的检索（隐私、口径一致）无人做。
- **Gap H｜评测指标偏"答对"而非"用对证据"**：truthfulness、faithfulness、evidence attribution（每个答案断言 → 证据 URL/时间戳/像素区域）在 MM-RAG 里几乎没有标准指标；CRAG-MM 有 truthfulness 但无归因指标。

### 2.5 红海警告（不建议投入的子问题）

- **红海 1（最危险）：再训一个更强的 CLIP 风格双塔 embedding。** 这是红海中的红海。2025 年已经证明三条路——E5-V（省 95% 训练）、VLM2Vec/MMEB（指令化）、MM-Embed（难负样本+连续微调）——把"从零训图文对齐 embedding"的全部甜头吃完；Flickr30K/MSCOCO 榜单饱和，提升靠数据规模与蒸馏，8×L40 级别硬件再训一个"SigLIP+微调"毫无发表空间。**范式转换警告：late-interaction（ColPali 系）与 VLM embedding（MM-Embed/VLM2Vec 系）正在洗牌整个"双塔+单向量"赛道——新投稿如果还在"双塔+对比 loss+余弦"上做文章，审稿人一句"为什么不用 ColPali/VLM2Vec"即毙。** 若必须碰 embedding，只能做 (a) 特定模态盲点（如 4D/时序 embedding）或 (b) 检索结果的可信度 embedding（证据验证）。
- **红海 2：纯 benchmark/survey 只准做 1 个**。CRAG-MM、M2RAG、MuirBench、MMEB-V2、Dyn-VQA 已经把 MM-RAG 评测的生态位占满，再做"又一个评测集"除非有不可替代的任务定义（如 4D 记忆检索）。
- **红海 3：给现有 MM-RAG 框架"再加一个组件"**（critic、reflection、router、reranker 任选其一）——ReAG、Self-RAG、CoRe-MMRAG、OmniSearch、CRAG-MM 冠军方案已把这些组件占满，拼装式增量会被一眼识破。
- **红海 4：CIR 的 CLIP 特征融合路线**。DiffComp 所属的路线正被"图像→句子→LLM 改写"洗牌（ISA、CIReVL、InstructCIR），纯特征融合的 ZS-CIR 增量无意义。
- **蓝海判断**：检索+推理（Reasoning-aware retrieval）、证据验证与归因（auditability）、4D/时序片段检索、MM-RAG 失败模式诊断、记忆型检索（memory as RAG）——都还处于 1–3 篇论文的早期，且需求（可穿戴、自动驾驶、机器人）明确。

---

## 3. 六个可扩展 Idea

### Idea 1（低风险 · 诊断型）When Does Retrieval Hurt? — Diagnosing Failure Modes of Multi-Modal RAG（MM-RAG 失败模式诊断）

**一句话 Pitch**：系统注入受控检索噪声，量化 MM-RAG 在什么检索条件下"检索反而伤害 VQA"，给出首张多模态 RAG 失败模式地图与伤害曲线。

**切入的 Gap**：Gap A（检索-生成错误未分层归因）+ Gap C（跨模态对齐错误无人测量）。ReAG/CogniVerse 只报告"加了检索变好"，从不回答"检索在何时有害"；MuirBench 有 unanswerable 变体但限于多图，不涉及外部检索噪声；M2RAG 的 fact verification 任务只测"给对的会不会用"，不测"给错的有害程度"。

**核心技术方案**：
- 构造受控检索噪声注入协议：取 KB-VQA/多图 QA 问题（OK-VQA、A-OKVQA、InfographicVQA、WebQA、Encyclopedic-VQA 子集），对每个问题构建 5 档检索上下文：(i) oracle（正确证据）、(ii) 干净 top-k、(iii) 混入 1/3 无关 passage、(iv) 混入 1/3 语义相关但事实错误 passage（反事实构造：修改实体/数值/时间）、(v) 全噪声。
- 三个因子的 2×2×2 实验设计：噪声类型（无关/反事实/模态错配）× 噪声比例（0/0.25/0.5/0.75/1.0）× 噪声模态（纯文本 passage/图像/图文混合）。每个条件跑 4–6 个 MLLM（Qwen2.5-VL-7B、MiniCPM-V、InternVL3、GPT-4o 做 API 参照），输出 accuracy/EM + GPT-as-judge correctness + faithfulness（答案中 token 与检索证据的重叠度）。
- 定义并报告三个诊断指标：(1) **伤害曲线** Δaccuracy(retrieval) = acc(noisy_retrieval) − acc(no_retrieval)，画出随噪声比例的转折点（"RAG 开始有害"的阈值）；(2) **错位错误率**：答案引用了一个图像区域，但该区域与问题无关（用 grounding 检查）；(3) **过信指数**：模型给出高置信但错误答案时对噪声证据的注意力比例（attention 归因）。
- 产出可发布的失败模式分类法：noise-hallucination（信了噪声）、refusal-collapse（不敢答）、context-ignorance（无视检索）、position-bias（证据顺序影响答案）、cross-modal-misalignment（图文指称错位）。
- 训练侧只做一个小消融：对 Qwen2.5-VL-7B 用噪声注入数据做 LoRA SFT，验证"见过噪声"能否提升鲁棒性——把诊断延伸为可操作训练信号。

**为什么新颖（Novelty Argument）**：审稿人会说"这只是又一个评测"。反驳：(1) 这不是新的 benchmark，而是一个**可控实验协议 + 失败模式本体论**，产出的是机制性结论（伤害阈值、过信机制）而非排行榜；(2) 现有 MM-RAG 论文的 common baseline 都是"纯检索 vs 无检索"，我们把检索质量本身做成自变量，得到的是**可指导系统设计的因果结论**；(3) 与 CRAG-MM（有噪声但不可控）互补：CRAG-MM 的噪声是天然分布的，我们的是受控注入的，可直接定位因果。

**实验方案**：
- 数据集：OK-VQA（14k）、A-OKVQA（17k）、InfographicVQA（5k 测试）、WebQA、Encyclopedic-VQA 测试子集；检索库用 LAION-5B 子集或对应任务的原始语料。
- Baselines：无检索、oracle 检索、BM25+CLIP 检索、CLIP+rerank（MM-Embed 式）、ReAG 式 critic 过滤（复现）、Self-RAG 式反射（多模态化复现）。
- 主表：行=检索条件（5 档 × 关键因子），列=accuracy / faithfulness / 伤害值 / 过信指数，每个 backbone 一张。
- 消融：每因子单变量（证明伤害主要由反事实噪声而非无关噪声驱动、模态错配的独立作用）、每个失败模式的 5-shot 案例统计。
- 分析/可视化：伤害曲线图、注意力热图（模型盯着反事实图像的区域）、失败模式分布饼图。
- 指标：标准 VQA accuracy + GPT-4o-as-judge（正确性）+ 自建 faithfulness 指标。

**8×L40 可行性核算**：主实验全部是推理：4 个开源模型 × 每模型 5 档 × 3 因子 × ~2k 问题 ≈ 120k 次前向，Qwen2.5-VL-7B 单卡 bf16 推理（48GB 足够，batch 8）约 0.05 GPU·h/k 次 → 合计 ~100 GPU·h。GPT-4o judge 走 API（约 3 万次调用 ≈ $300）。LoRA 鲁棒性微调 1k 步，8 卡 DP + LoRA r=32，单卡显存 ~35GB，~40 GPU·h。总计 < 300 GPU·h（3–4 天）。完全可做。

**风险与退路**：风险是"伤害曲线不显著"（若所有模型对噪声都鲁棒，结论变薄）。退路：(1) 即使鲁棒，也能发表"现有 MM-RAG 对反事实噪声出乎意料地鲁棒"的反直觉结论 + 解释机制；(2) 退化成"MM-RAG 鲁棒性评测 + 训练建议"也能中 AAAI/ACL。

---

### Idea 2（低风险 · 可审计）Verify-then-Retrieve-Retrieve: Evidence-Gated Iterative Retrieval for Reasoning-Intensive Retrieval（证据门控的迭代检索）

**一句话 Pitch**：把 RMIR 揭穿的"推理型查询召回难"与 Graph-to-Frame/ReAG 的"检索结果没人验证"合并为一个闭环：检索→证据三分类验证→用验证反馈重检索，全程留证据链。

**切入的 Gap**：Gap B（相关性≠可支持性）+ Gap E（检索决策不可学习）+ RMIR 的"推理感知训练"缺口。

**核心技术方案**：
- 定义证据三元分类器 V(q, a, e) ∈ {support, refute, irrelevant}：输入问题 q、候选答案 a（生成器对检索证据 e 的中间回答）、检索证据 e（图/文/片段），输出三分类。V 用 Qwen2.5-VL-7B LoRA 训练，训练数据从 OK-VQA/InfoSeek/WebQA 自动构造（证据改写为正/反/无关三档）。
- 迭代检索循环：round 1 用 VLM-embedding 检索 top-8；生成器出候选答案；V 对 (q, a, e_i) 打分；(i) 若 ≥k 条支持证据 → 采纳；(ii) 若支持<refute → 用 V 的细粒度错误定位（哪条断言与哪条证据冲突）改写查询重检索；(iii) 若全是 irrelevant → 判定"外部知识不存在"或"需要工具"，输出 abstain。最多 2 轮。
- 在 RMIR 上直接评测（检索命中率 R@20 + 答案正确率），并在 KB-VQA（Encyclopedic-VQA、InfoSeek）上验证通用性。全程记录证据链（每条答案断言 → 证据 URL/图像/时间戳 + V 的判定分数），这就是"可审计"的机器可检查版本，比 G2F-RAG 的"渲染帧"更严谨。
- 与 ReAG 的精确 delta：ReAG 的 critic 过滤是**静态一次性**的，我们让验证结果**反过来驱动重检索**（evidence-gated query rewriting），并且验证对象是"断言-证据"对而非"问题-文档"。

**为什么新颖（Novelty Argument）**：审稿人会说"这就是 critic + rerank 的老套件"。反驳：(1) 现有 critic/reranker 打分后只做过滤，不产生可操作的改写信号——我们把三分类的 refute 定位转化为结构化重检索指令，这是"验证驱动检索"而非"验证后过滤"；(2) 我们把证据链的**机器可验证性**做成输出格式（JSON 断言-证据映射），这是走向可审计 RAG 的标准第一步，CRAG-MM 只有 truthfulness 没有归因；(3) 在 RMIR 这种推理型查询上验证是新的——推理查询的检索失败多数是"查询表述不完整"，正好需要验证驱动的改写。

**实验方案**：
- 数据集：RMIR（1634 查询）、Encyclopedic-VQA（4.7k 测试）、InfoSeek（7.1w val 子集）、WebQA。
- Baselines：直接 VLM 检索（MM-Embed/VLM2Vec 类）、CLIP 双塔、ReAG（复现）、Self-RAG（多模态化）、Graph-to-Frame RAG（视频任务对照）、RRF 混合检索。
- 主表：行=方法，列=RMIR R@20 / R@50、KB-VQA 答案 accuracy / BEM、abstain 率、平均检索轮数。
- 消融：(1) 有无验证驱动改写（证明"反馈驱动"而非"过滤"是增益来源）；(2) V 的分类粒度（二分类 vs 三分类）；(3) 支持/反驳阈值敏感性；(4) 证据链 JSON 是否影响生成（格式注入）。
- 分析实验：检索失败案例分析（改写前后查询对比）、V 的 confusion matrix、一轮 vs 两轮的收益曲线。
- 指标：R@K + accuracy + BEM + 人工抽检 200 条证据链的可信度（3 人标注）。

**8×L40 可行性核算**：V 训练：Qwen2.5-VL-7B LoRA（r=32），数据 ~50k 三元组，8 卡 DP，单卡 ~35GB，约 600 GPU·h（~3 天）。检索+推理主实验 ~400 GPU·h。重检索只 2 轮，成本可控。总计 ~1000 GPU·h，在预算内。

**风险与退路**：风险是"验证驱动改写对检索增益小"（若验证器正确率不够，反馈是噪声）。退路：(1) 收敛到"证据三分类验证器"单点发表（可审计 RAG 的基础设施，工程价值明确）；(2) 强调 abstain 机制——诚实回答"我不知道"在 CRAG-MM 评测里是加分项。

---

### Idea 3（高风险 · 4D 时序）TimeRAG: Spatio-Temporal Segment Retrieval for Temporal Reasoning over Long Video（时空片段级检索增强的视频时序推理）

**一句话 Pitch**：把 late-interaction 从"文档页"搬到"视频时空片段"，让 RAG 检索的是"正确的片段+时间戳"，再用检索到的片段链做事件因果与时序推理。

**切入的 Gap**：Gap D（时序/4D 检索无统一范式）+ GraviAlign 只做整视频排序、R4 只做规则化 4D 记忆、Video-ColBERT 只做到整视频级别的 token 交互。

**核心技术方案**：
- 把视频切为固定窗（如 4 秒）时空片段，用 Qwen2.5-VL-7B（或 SigLIP+时序 transformer）对每个片段输出**多向量表示**（patch 级 + 片段级 temporal token），即"视频版 ColPali"。查询编码为 token 序列，用 MaxSim 求"查询 token ↔ 片段 patch/帧 token"相似度，得到片段级相关性 + 每片段的证据热图。
- 检索预算控制：两阶段——粗检（FAISS 或 HNSW 对片段级摘要向量）top-100 → 细排（late-interaction MaxSim）top-8。
- 时序推理阶段：检索到的片段带时间戳，构造**事件链**（按时间排序的片段证据）；用一个轻量推理头（或直接 prompt 生成器）做三类任务：(i) 事件因果（"为什么 A 之后发生 B"）、(ii) 状态变化追踪（"门从打开到关闭经历了什么"）、(iii) 跨片段指称解析。
- 训练：对片段编码器做对比+MaxSim 联合 LoRA 微调（数据用 MSR-VTT/ActivityNet 的 clip-caption 对 + Ego4D 片段）；推理头用合成事件链数据做 SFT。
- 与 Video-ColBERT 的 delta：它只做**整视频**的文搜视频排序；我们把检索单元切到**片段**并直接输出时间戳，且把片段链喂给推理而不是只求一个相关性分数——检索粒度是核心贡献。

**为什么新颖（Novelty Argument）**：审稿人会说"这是 ColPali 套视频"。反驳：(1) 时空片段的多向量表示需要解决"时间维"的问题——帧间冗余、事件边界，我们的 temporal token 设计是对 ColPali 的非平凡扩展；(2) "检索片段→片段链→时序推理"把检索与推理绑成新任务，现有工作要么只检索（VideoRAG 帧级无推理）要么只推理（video-LLM 无检索）；(3) 可审计的时间戳输出让"为什么这样答"可回溯到具体秒。

**实验方案**：
- 数据集：Ego4D NLQ（时序定位，R1@IoU 0.3/0.5）、QVHighlights（R1@0.7、mAP）、MSR-VTT（片段级文搜视频 Recall@1/5）、ActivityNet；自建 TimeReasonQA（~1.5k 事件因果/状态追踪问题，基于 Ego4D 片段）。
- Baselines：CLIP4Clip、Video-ColBERT、X-CLIP、VLM2Vec-V2、Moment-GPT、Video-RAG、UniVTG（时序定位）。4+ 具名 SOTA。
- 主表：行=方法，列=片段级 Recall@1/5（含时间戳命中）、Ego4D R1@IoU、QVHighlights mAP、TimeReasonQA accuracy。
- 消融：(1) 片段粒度（2/4/8 秒）；(2) 多向量 vs 单向量片段表示（证明 MaxSim 的增益）；(3) 有无事件链构造（推理头直接吃乱序片段 vs 时间排序）；(4) 检索预算（top-8 vs top-16）。
- 分析/可视化：证据热图（查询 token 对齐到哪些帧）、错误案例分析（片段边界误差导致推理失败）。
- 指标：标准指标 + 人工评测 TimeReasonQA 200 条。

**8×L40 可行性核算**：片段编码 LoRA 训练：Qwen2.5-VL-7B 处理 4 帧×4 秒片段，每片段 ~1500 token，8 卡 DP + 梯度累积，单卡 ~40GB，20k 片段数据（Ego4D 子集 + MSR-VTT），~800 GPU·h。索引：100 小时视频 × 每秒 1 片段 × 每片段 300 向量 × 128 维 ≈ 1.3M 向量 ≈ 700MB，**内存可控**；但若全量 Ego4D（~3000h）则 ~20GB 向量，仍单机可存。用 FAISS HNSW + GPU（faiss-gpu）或 tevatron 的多向量索引（PLAID 式残差量化把 100× 压缩到 ~15×）。推理头 SFT ~200 GPU·h。总计 ~1200–1500 GPU·h。**降级方案**：若时序推理头效果差，主贡献收敛为"片段级 late-interaction 检索 + 时间戳可审计"，仍能投 CVPR。

**风险与退路**：最大风险是 late-interaction 在视频片段上的增益被更简单的"clip-level 平均向量 + 精排"抹平。退路：(1) 证明多向量对**细粒度指称**（"戴红帽的人"）的增益，聚焦指称型查询子集；(2) 转投"时空片段检索的可审计性"——时间戳证据 + 边界不确定性量化，也是高价值角度。

---

### Idea 4（高风险 · 新任务定义）Memory-as-RAG: Auditable Long-Horizon Egocentric Memory Retrieval with Shared Agent Memories（记忆即检索）

**一句话 Pitch**：定义一个全新任务——"长期第一人称记忆问答"，agent 把观察流写入带版本号与时间戳的 4D 记忆库，回答跨天/跨 agent 的时序问题，并为每条答案断言给出可审计的记忆证据路径。

**切入的 Gap**：Gap G（记忆类检索缺失）+ R4 的记忆"只增不改"+ Ego4D NLQ 只到分钟级单视频。

**核心技术方案**：
- 新任务定义 **EgoMemQA**：输入为长时程 egocentric 视频流（复用 Ego4D/Ego-Exo4D 长视频 + 自建多天模拟），问题类型：(i) 时间线重建（"昨天下午我三次拿起手机分别在做什么"）、(ii) 跨会话指称（"我之前见过的那个红色背包在哪"）、(iii) 记忆冲突（"你今天看到的杯子和昨天的是同一个吗"）、(iv) 遗忘与更新（"我之前以为的门把手位置对了吗"）。
- 记忆写入器：把视频流切成事件（moment detector），每个事件生成"对象+空间锚（3D）+时间戳+属性"的版本化条目；检测到同一对象新证据时追加版本而非覆盖（versioned memory）。
- 记忆检索器：查询→分解为（语义/空间/时间）三 key → 版本化检索（R4 的雏形 + 时间线聚合），返回带版本与时间戳的记忆路径。
- 推理器：VLM 读记忆路径作答，要求答案每个断言链接到具体记忆条目（audit path）。
- 训练：写入器用 Ego4D NLQ 的标注做事件检测 SFT；检索器用构造的"查询→记忆条目"对比学习；推理器 SFT。全部 LoRA。
- 与 R4 的 delta：R4 是"免训练规则系统、无版本、无遗忘"；我们提出**版本化记忆 + 冲突检测 + 审计路径**，并给出可评测的任务定义（R4 没有自己的 benchmark）。

**为什么新颖（Novelty Argument）**：审稿人会问"这跟 RAG 有什么关系，只是 memory"。反驳：(1) 我们把它定义成检索问题——记忆库就是检索语料，检索粒度是"版本化事件"而非文档，这统一了 memory 与 RAG 两个领域；(2) 可审计性是核心诉求：智能助手（Ray-Ban 类可穿戴、家庭机器人）必须能回答"你凭什么这么说"，版本化记忆是唯一机制；(3) 这是**新任务定义**，符合社区对"提出新问题"的偏好（类似 VSI-Bench 之于空间推理）。

**实验方案**：
- 数据集：EgoMemQA 自建（基于 Ego4D/Ego-Exo4D 长视频，~800 问，3 人标注，含冲突/更新/跨会话四类）；辅助用 Ego4D NLQ、Charades-STA 做预训练。
- Baselines：R4（复现）、GroundVQA、直接长上下文视频-LLM（Qwen2.5-VL 72B 满上下文）、naive video RAG（按时间窗切块检索）、EgoVLP+CLIP 检索。
- 主表：行=方法，列=四类问题 accuracy、召回时间戳 mIoU、abstain 率、审计路径正确率（断言-记忆条目匹配）。
- 消融：(1) 版本化 vs 覆盖式记忆（证明冲突问题的增益）；(2) 三 key 分解 vs 单 embedding；(3) 记忆路径长度（1/3/5 跳）；(4) 审计机制对答案质量的影响（强制链式 vs 自由回答）。
- 分析/可视化：审计路径图（答案断言→记忆条目→时间戳）、冲突消解案例、记忆污染（错误记忆条目导致的错误答案）分析。
- 指标：accuracy + 人工审计 200 条路径（5 分制）。

**8×L40 可行性核算**：写入器 SFT（Qwen2.5-VL-7B LoRA，20k 事件）~300 GPU·h；检索器对比训练（8 卡，30k 三元组）~200 GPU·h；推理器 SFT（15k QA）~400 GPU·h；EgoMemQA 标注以 API 辅助 + 人工核对为主（$200–300）。总计 ~1000 GPU·h + 2–3 周人工标注。全在能力内。**降级**：若多天视频获取困难，用 Ego4D 单视频多段模拟"跨会话"，任务定义不受影响。

**风险与退路**：最大风险是 EgoMemQA 的标注主观性（跨会话指称的 ground truth 判定难）与长视频源不足。退路：(1) 收敛为"版本化记忆 vs 静态记忆"的对照研究，落在 memory-augmented agent 子方向；(2) 任务本身即使效果一般，"任务定义+基线分析"对 embodied/可穿戴社区有独立价值。

---

### Idea 5（高风险 · 可信/冲突消解）MM-Attest: Evidence Conflict Resolution and Attribution for Multi-Source Multi-Modal RAG（多源多模态 RAG 的证据冲突消解与可信归因）

**一句话 Pitch**：当多模态 RAG 从多个源（图像-KG、web passage、多张图）拿到互相矛盾的证据时，如何检测冲突、判定哪条证据可信、并在答案里给出每句断言的归因——这是 CRAG-MM 32% truthfulness 背后的硬骨头。

**切入的 Gap**：Gap F（证据冲突无多模态基准）+ Gap H（无归因指标）+ CoRe-MMRAG 只做文本双源调和；ReAG 的 critic 过滤单条噪声但不处理"两条都对但矛盾"。

**核心技术方案**：
- 构造 **MEC**（Multimodal Evidence Conflict）评测集：从 WebQA/InfoSeek/CRAG-MM 选多源问题，人工注入 5 类冲突：数值冲突、时间冲突、属性冲突、空间冲突、跨模态冲突（图像与文本矛盾）。~1.2k 问题，每个带"哪条证据正确"的金标 + "冲突类型"标注。
- 冲突检测器 C(q, {e_i})：输入检索证据集，输出 (i) 是否冲突、(ii) 冲突类型、(iii) 冲突证据对。实现为 Qwen2.5-VL-7B LoRA 训练的三任务头（分类+定位）。训练数据自动构造（对 WebQA 的证据做受控改写制造矛盾对）。
- 冲突消解：四种信号加权裁决——(a) 证据时效性（CRAG-MM 的信息动态性）、(b) 证据模态可信度（精确 OCR/KG 数值 vs 模糊 caption 描述）、(c) 证据一致性（与其他证据的共识度）、(d) 查询类型偏好（"现在价格"偏好时效，"历史"偏好权威）。裁决器是轻量排序，可解释。
- 归因输出：答案按断言拆分，每条断言附 (证据 ID + 判定分数 + 冲突状态)；冲突无法消解时输出"证据冲突"并 abstain。
- 与 CoRe-MMRAG 的 delta：它是文本-文本双源、冲突通过融合网络隐式调和；我们显式建模冲突类型、支持跨模态冲突（图↔文）、输出可审计的归因，且给出冲突评测集（他们没有）。

**为什么新颖（Novelty Argument）**：审稿人会说"这是 RAG 的 NLI"。反驳：(1) 多模态证据的冲突不是简单 entailment——图像证据没有自然语言 claim 可直接蕴含，需要跨模态事实抽取，我们是第一份把"冲突类型学（5 类）"带进多模态 RAG 的工作；(2) 归因到"断言粒度+证据 ID"在多模态 RAG 尚无标准，我们给出格式与评测协议；(3) CRAG-MM 已证明 truthfulness 是当前 MM-RAG 最大短板，冲突消解是 truthfulness 的直接上游。

**实验方案**：
- 数据集：MEC（自建 1.2k）+ WebQA 全量 + InfoSeek 子集 + CRAG-MM 单轮（公开 val）。
- Baselines：无消解（直接全给生成器）、CoRe-MMRAG、ReAG、OmniSearch、Chain-of-Verification（多模态化）、Self-RAG。
- 主表：行=方法，列=冲突检测 F1、答案 accuracy（冲突子集 vs 干净子集）、truthfulness（CRAG-MM 协议）、abstain 精确率/召回率、归因准确率。
- 消融：(1) 冲突类型×消解信号（证明四信号各司其职）；(2) 显式冲突类型标签是否有用（vs 端到端）；(3) 裁决权重敏感性；(4) 归因输出格式对 accuracy 的影响。
- 分析/可视化：冲突案例的可视化（图像区域 vs 文本断言的高亮矛盾）、消解正确/错误案例、abstain 决策分布。
- 指标：标准 + 人工 300 条归因可信度标注。

**8×L40 可行性核算**：C 检测器训练（Qwen2.5-VL-7B LoRA，60k 合成冲突对，8 卡，~35GB/卡）~700 GPU·h；MEC 构造以 LLM 合成 + 人工校对（$300 + 3 人×1 周）；主实验推理 ~300 GPU·h。总计 ~1000–1200 GPU·h。**降级**：若冲突检测器效果不稳，先只做"跨模态冲突"单类（图↔文矛盾最可判），缩小到 CVPR 可过。

**风险与退路**：最大风险是冲突检测的召回低（多源证据本身可能都无关）。退路：(1) 把工作重心转为"MEC 评测集 + 冲突类型学"，方法作为 strong baseline，这是标准"数据集+方法"双贡献；(2) 归因协议单独成文（评测社区需要）。

---

### Idea 6（中风险 · CIR 范式转向）Compose-by-Decompose: Attribute-Level Decomposition and Verification for Composed Image Retrieval（分解-组合-验证的 CIR）

**一句话 Pitch**：CIR 正在被"图像→句子→LLM 改写"洗牌，但改写会丢属性细节；我们把修改文本分解为属性级操作，逐属性检索+晚交互精排+差异验证器，让 CIR 从"embedding 融合"走向"可验证的组合推理"。

**切入的 Gap**：红海 4（CIR 特征融合路线被洗牌）+ DiffComp 的差异验证缺失 + MM-Embed 指出 CIR 单标注评测不可靠（需要多标注 CIRCO 严格评测）。

**核心技术方案**：
- 属性分解器：用 LLM（Qwen-7B 文本）把修改文本解析为原子操作（`{属性, 目标值, 操作: 添加/删除/替换}`），如"变蓝并加长袖"→ {color→blue, replace}、{sleeve→long, add}。输出结构化修改计划。
- 属性级检索：参考图像用 VLM 多向量（ColPali 式 patch 表示），每个属性操作生成一个检索子查询；用 late-interaction 分别检索"该属性满足"的候选子集，最后按操作类型做集合组合（替换=替换该属性域、添加=新增属性域、删除=排除属性域）。参考 SETR 的"交集驱动"思想但提升到属性显式化。
- 差异验证器：对 top-k 候选，用三分类器验证"候选图-参考图的差异是否符合修改计划"（fully/partially/no match），重排。这个验证器 = 把 DiffComp 的"差异感知"从训练信号变成推理时验证组件。
- 与 Image2Sentence 的 delta：它一次性改写整句、信息有损；我们分解为属性级、每属性独立可验证，且输出结构化修改计划，天然支持"候选为什么对/错"的解释。

**为什么新颖（Novelty Argument）**：审稿人会说"分解只是把 LLM 改写拆两步"。反驳：(1) 分解带来的是**可组合的检索集合运算**（属性域的添加/删除/替换），这不是两步改写而是检索语义的代数化，在多标注 CIRCO 上能直接证明"删除类操作"的增益（现有方法全在加属性上卷）；(2) 差异验证器让 CIR 首次具备"验证而非只匹配"环节，呼应本方向的可审计主线；(3) 属性级检索天然适配 late-interaction（每个属性是查询里的一组 token），把 CIR 与 ColPali 范式打通。

**实验方案**：
- 数据集：CIRR（R@1/5/10、Recall-subset）、CIRCO（mAP@5，多标注，主战场）、FashionIQ（R@10 均值）、GeneCIS。训练数据：CompoDiff 的 SynthTriplets18M 子集 + 自建属性计划数据（LLM 从 CIRR/合成三元组解析出属性操作）。
- Baselines：iSEARLE、LinCIR、DiffComp、SETR、ISA、CIReVL、CompoDiff、InstructCIR。≥4 具名 SOTA。
- 主表：行=方法，列=CIRR R@1/5、CIRCO mAP@5、FashionIQ R@10 avg、GeneCIS。
- 消融：(1) 属性分解 vs 整句（证明分解增益）；(2) 三种集合运算各自的贡献（尤其"删除"）；(3) 晚交互检索 vs 单向量检索（属性级）；(4) 差异验证器有无；(5) 操作计划错误时的鲁棒性。
- 分析/可视化：属性操作的可解释检索（高亮哪个 patch 对应哪个属性）、删除类操作的失败案例、修改计划错误分析。
- 指标：标准指标 + 人工 200 条"检索结果是否符合修改计划"的 3 分制。

**8×L40 可行性核算**：属性分解器用现成 LLM API（$200，不占 GPU）；检索编码器 LoRA（Qwen2.5-VL-7B 或 SigLIP-4B 级，SynthTriplets 10M 子采样 1M 对，8 卡，单卡 ~40GB）~900 GPU·h；差异验证器（Qwen2.5-VL-7B LoRA，10 万三元组）~300 GPU·h。索引用 FAISS（CIRCO 12.3 万候选 + CIRR ~21k，多向量版用 tevatron/PLAID 量化）。总计 ~1200 GPU·h。**降级**：验证器不做训练而用 zero-shot MLLM prompt（参考 MM-Embed 的 rerank），省 300 GPU·h，效果差 1–2 点但可发表。

**风险与退路**：最大风险是属性解析错误传播（LLM 分解错→检索全错）。退路：(1) 只针对"单属性/双属性"子集做干净实验，把分解的失败模式写成分析章节（诊断型卖点）；(2) 若 CIR 整体太卷，把"属性级验证器"独立出来做成 CIR 重排模块发表（工具型贡献）。

---

## 4. 优先级建议

| Idea | 新颖度 | 工作量 | 风险 | 8×L40 契合度 | 推荐投稿目标 | 建议启动顺序 |
|---|---|---|---|---|---|---|
| 1. When Does Retrieval Hurt?（诊断） | 中高 | 低（<300 GPU·h） | 低 | 高（纯推理为主） | AAAI/ICLR | 1（先做，快速出结论，喂给其他 idea） |
| 2. Verify-then-Retrieve（可审计迭代检索） | 中 | 中（~1000 GPU·h） | 中 | 高 | CVPR/ICCV | 2（依赖 Idea 1 的失败模式结论） |
| 3. TimeRAG（时空片段检索） | 高 | 高（~1500 GPU·h） | 中高 | 中高（索引内存需规划） | CVPR/ICCV（冲 oral） | 4（视频数据管线最重） |
| 4. Memory-as-RAG（新任务） | 很高 | 中高（~1000 GPU·h + 标注） | 中高 | 高 | CVPR/NeurIPS（新任务卖点） | 5（可与 Idea 3 共享视频数据） |
| 5. MM-Attest（冲突消解归因） | 高 | 中（~1200 GPU·h） | 中高 | 高 | CVPR/EMNLP | 3（与 Idea 2 共享验证器组件） |
| 6. Compose-by-Decompose（CIR 转向） | 中 | 中（~1200 GPU·h） | 中 | 高 | CVPR/WACV | 6（CIR 赛道偏挤，放最后） |

**推荐组合拳**：以 Idea 1（诊断）开局建立认知并积累失败模式数据 → Idea 2 与 Idea 5 共享"证据验证器"与"归因协议"两条主线（可合并成一个大系统，分两篇发）→ Idea 3 与 Idea 4 共享视频/4D 数据管线（TimeRAG 的片段检索器可充当 EgoMemQA 的检索底座）。6 个 idea 中 1、2、6 为稳定中稿型，3、5 为冲 oral 型，4 为新任务定义型，满足梯度要求。全部主实验合计约 6–7k GPU·h（8×L40 跑 10–13 周），若人力有限先砍 Idea 6。