# M12｜医学与科学多模态、科研自动化

## 0. 方向速览

本方向覆盖四条主线：(a) 医学影像-语言模型（超声/胸部 X 光/多模态 VQA/报告生成/world model）；(b) 科学文献结构化（化学结构识别、光刻物理先验）；(c) 科研自动化 agent（论文→代码、论文→图表）；(d) 领域设计 agent 与动物行为视频理解。核心矛盾：**医学 VLM 能力在 benchmark 上飞涨（MedQA 已 91%+），但"可信任的临床落地"——幻觉、grounding 粒度、不确定度、医生在环评测——几乎没有被解决**；同时科研自动化 agent 已验证"能跑"但缺"预算感知/受限算力复现"这一关键维度。8×L40 上做 7-13B 级医学 VLM 的 LoRA 微调与 agent 系统完全可行，差异化路径在垂直模态（超声/病理）、证据归因 RAG、grounding+自验证闭环与预算感知复现。

---

## 1. 论文逐篇评析

### [P14] Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding

- **核心贡献**：构建 US-365K（36.5 万超声图文对、52 个解剖类别）+ UDT 分层诊断分类体系（9 个诊断属性维度），提出带语义软标签 + semantic loss 的对比预训练框架，并用病变-属性异质图做结构化推理。
- **优点**：
  1. 数据贡献扎实：超声是医学 VLM 中数据最稀缺、最不标准化的模态之一，36.5 万图文对 + 52 解剖类别的规模在超声域少见。
  2. UDT 把"解剖层级 + 9 个诊断属性（形态/边缘/回声/内部特征/后方声学现象/血管性…）"形式化，直接回应超声报告的半结构化本质，比自由文本标题的通用 CLIP 数据质量高。
  3. 语义软标签 + semantic loss 是对 InfoNCE 硬正负对假设（batch 内一图对一文本）的有意义修正——超声报告存在一图多义、同义多图，硬配对是错误监督。
  4. patient-level 数据划分避免同患者图像跨 split 泄漏，是医学预训练少见的正确实验纪律。
- **不足**：
  1. US-365K 的构造细节（来源医院数、去重、标注者一致性、报告清洗）未在摘要披露，标签噪声水平未知；52 类固定本体无法外推到胎儿/血管/肌骨等超声子域，可扩展性存疑。
  2. "异质图模态"的实现成疑：若只是把 UDAF 文本嵌入作为正则项，与真图卷积信息传递的差距有多大？缺"去掉图模态"的干净消融。
  3. 对比方法若仅限 BiomedCLIP/通用 CLIP 级别，则缺少对 UniMed-CLIP、SonoCLIP 这类超声/医学专用 VLM 的直接对比，SOTA 声明说服力不足。
  4. 软标签对比在方法论上接近 SigLIP / 蒸馏式软监督，需明确与这些已有技术的精确 delta，否则易被批 incremental。
- **可延展信号**：超声是**视频/实时**模态而本文只用静态帧——把"cine loop 时序对比"与"自由扫查空间连续性"引入对比预训练是明显未占的坑。

### [P29] MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images

- **核心贡献**：一个三阶段医学 MLLM：异构视觉编码器 + 医学语言骨干的跨模态预训练 → 覆盖 captioning/VQA/报告生成/检索/box 定位的多任务指令微调 → 用"事实性检查 + box 级 GIoU"作为可验证奖励的 RL，统一提升多模态医学理解与空间 grounding。
- **优点**：
  1. 把 RLVR 奖励设计从"文本事实性"推进到"空间定位正确性"（GIoU），直接瞄准临床最需要的位置级证据，思路正确。
  2. 多任务指令微调覆盖检索/报告/定位，任务联合收益比单一 VQA 微调更接近"医学基础模型"定位。
  3. 跨模态（放射/眼科/病理/急诊）验证了泛化面；报告 VQA +21.3%、grounding IoU +40.4（对 baseline）的数字幅度说明空间监督是真瓶颈。
  4. 多阶段 recipe（align → instruct → RL）是可复现的工业级训练配方，比一次性 SFT 更合理。
- **不足**：
  1. "trained exclusively on large-scale, domain-specific data"——数据集构成、来源、许可均未披露，医学数据的可复现性红线在这里被触碰；数据组合不同直接让跨论文对比失效。
  2. GIoU 奖励可被 hack：模型学"报大框"可虚增 GIoU 却无临床意义；论文未见对 reward hacking 的分析或框尺度正则。
  3. 对 Fleming-VL 的对比存在选择性问题：挑 "within 0.6%" 的 VQA 数字与 +37% 的 IoU 数字分开放，读者无法判断总体强弱；且 Fleming-VL 体量远大于 MedMO，公平性存疑。
  4. box 级 grounding 对医学病灶是弱监督——病变形状不规则（肺炎实变、肿块），框含大量背景，临床不可直接用；评测用框 IoU 而非病灶级 mask/体积一致性，metric 本身可被高估。
  5. 多编码器对齐 + 三阶段训练的计算需求对 8×L40 类小集群不透明。
- **可延展信号**：grounding 应升级为"可验证的证据单元"——把 box 换成 mask + 在环核验，并把"grounding 与回答一致性"作为防幻觉机制而非只是评测指标。

### [P51] X-WIN: Building Chest Radiograph World Model via Predictive Sensing

- **核心贡献**：从胸部 CT 蒸馏容积知识：让模型在隐空间预测同一容积在不同 3D 变换下的 2D 投影（affinity-guided contrastive alignment），并混入真实 CXR 的 masked image modeling + 域分类器拉近 real/sim 表示；下游 linear probing/few-shot 超过现有一众 foundation model，且能由预测投影重建 3D CT。
- **优点**：
  1. 动机物理自洽：2D CXR 因结构叠加丢失 3D 解剖，放射科医生正是靠内部 3D 心智模型读片——"预测感知"是该认知过程的直接建模。
  2. 隐空间投影预测（不做像素级 DRR 渲染）显著降低计算，是 V-JEPA 思路在医学投影几何上的合理迁移。
  3. 同容积多投影的 affinity contrastive loss 抓住了"同一容积不同角度投影相关性"这一结构先验，比单纯 masked 预测信息更丰富。
  4. 域分类器处理 sim-to-real（模拟 CXR vs 真实 CXR）是关键工程细节，直接缓解"只在 DRR 上训练"的域鸿沟。
- **不足**：
  1. "World model"标签过度营销：这里没有动态/动作/时序预测，本质是**几何先验蒸馏**（学 3D 容积在投影算子下的等变性），审稿人会揪"这不是 world model"。
  2. 依赖 CT 与 CXR 的配对/投影对应关系，训练数据受限于可获取容积数据集（NLST/LIDC 需注册申请）；CXR 侧只有 DRR 仿真时，多中心真实泛化未验证。
  3. "任意 3D 变换下预测投影"如何参数化（SO(3) 采样？平移？）未说明；若变换分布过窄，学到的是记忆而非容积理解。
  4. 3D CT 重建演示很可能是低质量玩具级（从有限 2D 预测反演 3D 是病态问题），临床价值陈述含糊；对比的 "existing foundation models" 清单缺失（需 CheXagent/MedImageInsight/MAE-BEIT 等）。
  5. 与作者自己前作 Xray2Xray（arXiv'25）、同期 CheXWorld（arXiv'25）的边界模糊，容易被认为是同组的增量。
- **可延展信号**：同样的"预测性感知"先验更适配**超声**——自由扫查天然是连续角度投影族，且超声缺 3D 标准像；把 X-WIN 逻辑搬到 free-hand sweep → 容积 + 未来帧预测是新金矿。

### [P72] Optical Diffraction-based Convolution for Semiconductor Lithography

- **核心贡献**：OptiCo——把光学衍射物理（光相位核）嵌入 CNN 架构，显式建模光-掩模-晶圆相互作用的相位变化，用于计算光刻的掩模优化，并声称在 OOD 工艺条件下有泛化能力。
- **优点**：
  1. 物理先验入架构（光学相位核模拟光传播相位变化）是对纯数据驱动 ILT/SMO 的正确反驳，方向切中计算光刻的核心痛点。
  2. 问题选得好：半导体光刻在 CV 顶会少见，需求（小线宽、制造良率）真实且紧迫。
  3. OOD 泛化（跨工艺/掩模族）是工业界最关心但学界最不爱测的点，本文主动做。
- **不足**：
  1. 摘要信息量不足，无法判断"相位核"是固定物理核（如傅里叶衍射/PSF 建模的解析核）还是可学习的参数核——前者只是 physics-informed 卷积（去卷积/PSF 建模的常见做法），后者则与普通卷积的差异需要严格证明，novelty 边界不清。
  2. 掩模优化是超大搜索空间（mask 像素级二值/连续优化），CNN 一步输出通常只是粗解，需与 SMO/ILT 迭代优化器结合才有意义；摘要未交代是否端到端收敛到 EPE/工艺窗口指标。
  3. 基准多为仿真器生成（HAPS 式），真实 fab 晶圆数据（CD-SEM、良率）缺席，外部效度存疑；且学界没有公开统一的光刻 ML 基准，复现性差。
  4. 跨工艺 OOD（波长/NA/离焦）是否真的稳，还是需要按工艺重新标定相位核——需消融。
- **可延展信号**：把"物理算子作为卷积归纳偏置"推广到其他成像逆问题（显微、超声成像），并建立公开的光刻 ML benchmark。

### [P93] GardenDesigner: Encoding Aesthetic Principles into Jiangnan Garden Construction via a Chain of Agents

- **核心贡献**：以"链式 agent + 程序化建模"编码江南园林美学：地形分布/道路生成 agent 执行"以水为心"的地形与路径规则，资产选择/布局优化 agent 按美学与文化约束选物排布；配 GardenVerse 专家知识库与 Unity 交互界面，非专家 1 分钟文字建园。
- **优点**：
  1. 领域知识与 agent 分工分离（地形/道路/选物/布局），管线职责清晰，可调试。
  2. GardenVerse 专家标注知识库为 LLM 提供领域 grounding，缓解通用 LLM 对园林营造法式无知的问题。
  3. 交互式 Unity 工具 + 人类评测，闭环完整，工程完成度高。
  4. 数字化遗产/文旅（电影游戏数字资产）是真实需求，落地价值明确。
- **不足**：
  1. 对 CVPR 而言这是**系统/应用论文而非视觉方法论文**：核心没有可学习的视觉/几何模块，agent 规则是手写的，与 LayoutGPT/Open-Universe Scene Generation/SceneCraft/Procedural Scene Programs 等"LLM 场景布局"工作的边界不清晰，容易被批"工程套壳"。
  2. 美学规则全部人工编码，不学习真实园林图像/布局数据，无法扩展到徽派/北方园林或非中式场景。
  3. 评测薄弱：人类主观美学评分 + 多样性叙述，缺量化布局指标（可达性/视线/水系连通度/资产密度）、缺 agent 链各环节消融、缺与 baseline（单 LLM 提示 / 纯程序化）的对照。
  4. "1 分钟建园"依赖预制资产库，新资产需要人工建模，生成内容泛化受限。
- **可延展信号**：领域知识图谱 + agent 链 + 程序化建模的组合可提炼为通用模板；若加入"从真实园林照片学布局先验"则可能成为真正的视觉方法。

### [P101] MR-RAG: Multimodal Relevance-Aware Retrieval-Augmented Generation for Medical Visual Question Answering

- **核心贡献**：双阶段 RAG 增强：检索端 Multimodal Cooperative Retrieval（MCR）融合 intra-/cross-modal 信号做文档对齐；生成端 Importance-Aware Information Flow Augmentation（IFA）按融合相关性调制注意力路径，在 3 个医学数据集上最高 +6.4% 准确率。
- **优点**：
  1. 精准击中两个真实缺陷：检索只用单一相似度信号（丢弃多模态信息）、生成端把检索文档等权拼接（稀释关键信息）。
  2. MCR 的 intra+cross-modal 联合检索比单一 CLIP 相似度更鲁棒，符合医学文档（图+报告+标题）多源本质。
  3. IFA 以相关性调制 attention 而非简单加权拼 prompt，机制更细，消融可做。
- **不足**：
  1. 检索语料库规模与来源未在摘要交代——若是小规模上下文文档，6.4% 增益的工业意义有限；且检索 R@1/R@5 与生成端增益的因果分解缺失（是检索好了还是 IFA 起作用了？）。
  2. baseline 选择偏弱：未对比 ColBERT/Cross-Encoder 重排、Self-RAG、CRAG 等强 RAG 方案；"SOTA baselines"的成色直接影响结论。
  3. IFA 需改 LVLM 内部注意力结构，模型兼容性差；且注意力调制可能导致 token 级梯度干扰，需要稳定性论证。
  4. 若医学数据集为 VQA-Rad/SLAKE/PathVQA 级别，已有文献在该类 benchmark 上接近饱和，"6.4%"是否来自低 base 值得怀疑。
- **可延展信号**：RAG 的下一个问题是**证据归因**——让每个生成 claim 绑定到检索文档的具体段落/图像区域，把 RAG 从"提分工具"变成"临床可信机制"。

### [P102] NERFIFY: A Multi-Agent Framework for Turning NeRF Papers into Code

- **核心贡献**：把 NeRF 论文自动转成可训练的 nerfstudio 插件的多 agent 框架：CFG（把 nerfstudio 形式化为上下文无关文法）约束生成、Graph-of-Thought 拓扑序代码合成、引用图成分恢复、基于 PSNR 极小值 ROI + 跨视角几何校验 + VLM 补丁的视觉反馈、以及 30 篇论文的评测框架；无公开实现论文上达到专家代码 ±0.5dB PSNR，实现时间从数周降至分钟级。
- **优点**：
  1. **域感知语法约束**（CFG）直击通用 paper-to-code 的失败模式——直接生成可编译但违反框架不变量的代码；这是"用框架形式化约束 LLM 搜索空间"的强工程思想。
  2. 视觉反馈（PSNR-minima ROI、跨视角几何校验）用任务语义而非仅编译/单测信号做验证，是代码生成评测的正确粒度。
  3. 引用图成分恢复（自动拉取 reference 中的 samplers/encoders）对应科研复现的真实动作：论文通常复用了前作组件。
  4. 30 篇论文的公开评测框架与基线表，本身是社区贡献。
- **不足**：
  1. 强绑定 nerfstudio 技术栈：对违反该框架抽象（新架构、新表示）的论文必然失败，方法泛化性存疑；评测 30 篇全在 NeRF 域，跨域结论不能外推。
  2. 专家基线样本量不明（人类专家实际实现了其中几篇？），±0.5dB 的统计显著性未讨论；且"无公开实现"的子集可能偏易。
  3. 多 agent 编排的稳定性/方差未报告（重复运行成功率？），agent 系统最怕一次 run 好、二次崩。
  4. 单篇成本未量化（LLM 调用次数 × 单价）；"weeks→minutes"只算墙钟不算 API 成本。
- **可延展信号**：把 CFG+视觉反馈的配方迁移到**医学影像框架（MONAI）**，并加入"GPU·小时预算"作为一等评测维度——预算感知复现是比"能跑通"更难的现实问题。

### [P121] Phrase-grounded APO for Improving Chest X-ray Report Generation

- **核心贡献**：推理时对齐方法：从 RRG 自身输出用"事实检查 + LLM 提示修正"生成替代偏好数据，配一个新的 APO loss（偏好响应对齐 + 短语级 grounding loss，同时关注发现描述与影像位置），在多家机构 CXR 数据集上让多个 SOTA RRG 推理时报告质量提升 30-40%。
- **优点**：
  1. 临床视角正确：诊断流程中无 GT 偏好对，对齐必须在推理时/无 GT 条件下发生，本文正面解决了这个约束。
  2. 替代偏好数据由模型自输出 + 事实检查 + LLM 修正生成，免人工标注，可规模化。
  3. "发现描述 + 影像位置"的双通道 grounding loss 直指放射报告的两个核心维度（语义正确、位置正确）。
  4. 模型无关（挂在多个 SOTA RRG 上均有效），工程落地性好。
- **不足**：
  1. **APO 本质是 RLAIF/自奖励框架的变体**：自生成偏好 + LLM 作为奖励信号并非新概念（self-rewarding、RLAIF-V），需要论证与这些工作的精确 delta，否则是增量。
  2. 推理时对齐是 per-sample 测试时优化（TTA）还是部署时微调？若为 TTA，单患者需要多轮前向+修正，临床延迟与算力不可接受；摘要回避了计算成本。
  3. 替代 GT 的 LLM 修正会继承 LLM 幻觉；事实检查器（CheXbert/RadGraph 类）精度有限，错误传播无分析。
  4. grounding loss 需要空间监督，替代数据里的位置标签如何获得存在循环性风险（自生成位置→自验证位置）。
  5. "30-40%"为相对提升，基座差时相对提升被放大，需看绝对指标。
- **可延展信号**：把 grounding 从训练目标变成**推理时验证环节**（generate→locate→re-verify 闭环），并量化 TTA 成本做临床可行性分析，是从学术到产品的关键一跃。

### [P139] MarkushGrapher-2: End-to-end Multimodal Recognition of Chemical Structures

- **核心贡献**：端到端 Markush 结构识别：专用 ChemicalOCR 提取化学图文本 → Vision-Text-Layout 编码器 + OCSR 视觉编码器双编码 → 两阶段训练融合 → 自回归生成 CXSMILES；配自动大规模真实 Markush 数据构造管线与新基准 IP5-M（1000 例、IP5 五局 1980-2025 专利）。
- **优点**：
  1. 直面真实瓶颈：专利以 Markush 为主，传统 OCSR 全失败（Markush 图像 OCR 上 PaddleOCR/EasyOCR F1 仅 ~7-10%，ChemicalOCR 87.2%），任务价值极高。
  2. 专用化学 OCR 是此前管线缺失的一环，单独就有贡献。
  3. IP5-M 千级人工标注基准是社区级资源（此前最大仅 103 例 M2S）。
  4. 双编码 + 两阶段训练（先 OCR 后融合）比单 VTL 编码器合理，消融可做。
- **不足**：
  1. 真实世界绝对数字仍很低（IP5-M 的 Markush 表正确率仅 13%，M2S 56%）——离"自动大规模处理"的宣称很远，实际部署价值存疑。
  2. 管线组件多（OCR + 双编码 + 融合 + 自回归），端到端可训练性、误差级联（OCR 错→编码错→CXSMILES 错）需专门分析。
  3. 合成数据用 Mistral-7B 改写"legalese"语料，真实专利的布局/语言分布差异大，域鸿沟未量化。
  4. 与自家 MarkushGrapher-1（CVPR'25）的差异集中在 OCR 模块 + 新数据 + 新基准，方法论增量有限。
- **可延展信号**：预测后的**化学一致性验证**（RDKit 价键/芳香性检查 + LLM 对照原文检索校验）可以显著提可靠率——"生成+自检"闭环在化学文档理解中几乎空白。

### [P142] Paper2Figure: A Multi-Agent Collaborative System for Figure Generation Towards Academic Research Paper

- **核心贡献**：双 agent 系统（生成 + 精修）把论文文本转成图：设计 FigScript 中间语言编码语义/风格/布局，Web 渲染器出图，Refinement Agents 迭代诊断并修正；配 100 图 Paper2Figure Bench，全自动生成较 SOTA 提升准确率 12%、美观 13.5%、完整 17%。
- **优点**：
  1. FigScript 结构化中间语言在"LLM 代码（结构化但僵硬）"与"文生图（可编辑差、文字错误）"之间取折中，方向正确。
  2. 生成→渲染→自检→修正的闭环让错误可被定位（对比一次性生成），系统架构清晰。
  3. Web 交互界面保留人类控制权，贴合科研真实工作流。
  4. 基准 + 网页 + 多 agent 开源，工程完成度高。
- **不足**：
  1. FigScript 本质是 DSL，与 SVG/Mermaid/Plotly-spec+LLM 的差异需要硬论证，否则被批"用了一个自定义语言"。
  2. 评测依赖 LLM-as-judge（beauty/completeness），无医生/科研者人工评测对照，指标可 gameable；缺少客观指标（如图表数据正确率，可参考 ChartQA/PlotQA 类自动打分）。
  3. 100 图基准偏小，类别覆盖与难度梯度未披露。
  4. 与图像生成模型（GPT-Image-1/Nano Banana）对比的输出形式不同（可编辑矢量 vs 位图），比较公平性需解释。
  5. Refinement agent 的 API 成本与迭代轮数未报告，规模化可行性存疑。
- **可延展信号**：加入**语义可验证性**——图表应有客观正确性检查（数据点 vs 原文数值一致性），并可扩展为"论文→图+代码+数据"的一体化可复现包。

### [P150] PriVi: Towards a General-Purpose Video Model for Primate Behavior in the Wild

- **核心贡献**：灵长类专属视频预训练数据集（424h：174h 行为研究 + 250h 网络视频），对 V-JEPA 继续预训练得到灵长类专用表示，用轻量冻结分类器在 ChimpACT/PanAf500/BaboonLand/ChimpBehave 四个基准上超过全微调 baseline；首次证明"域级预训练（用相似但非目标域数据）"对视频模型有效。
- **优点**：
  1. 数据中心的正确转向：动物行为学缺的就是领域数据而非模型架构，424h 策展数据集 + 可扩展的 curation pipeline 是稀缺资产。
  2. 在 V-JEPA 上继续预训练而非从零训练，算力经济且方法可复现。
  3. "域级预训练而非目标数据集预训练"是干净的实验设计，结论（数据效率、few-shot）有一般性意义。
  4. 冻结评估打败全微调 baseline，说明表示质量，说服力强。
- **不足**：
  1. 424h 相对 V-JEPA 的数百万小时是极小的继续预训练量，增益可能来自**背景/相机/物种低层捷径**而非行为语义——缺"背景替换/相机域混淆"的控制实验。
  2. 四个基准偏向动作识别类任务；灵长类精细社会行为（梳理、等级互动、眼神）几乎未被评测，通用性宣称过度。
  3. 网络视频（250h）存在采集/权利与标注一致性风险（不同物种、画质、视角混入）。
  4. 继续预训练导致通用特征遗忘（catastrophic forgetting）未测；全微调 baseline 的标注预算是否对齐不清楚。
  5. 只有 4 个评测集，且多为单数据集内部协议，跨数据集、跨物种 OOD 缺测。
- **可延展信号**：行为理解应走向"ethogram 预测 + 姿态（SLEAP 式）+ 视频表示"联合建模，以及"行为未来预测"（behavior world model）——PriVi 表示 + 时序预测是直接延展。

---

## 2. 方向发展态势

### 2.1 技术演进脉络

医学与科学多模态 + 科研自动化，过去三年经历 7 个范式转移：

1. **判别式医学影像模型**（2015-2021，CheXNet→U-Net）：任务专用、强标签，被"有限标注 + 弱监督"卡死。
2. **医学图文对比预训练**（2021-2023）：GLoRIA/BioViL/CXR-CLIP/MedCLIP/UniMed-CLIP，用 CLIP 式对齐迁移弱标签；解决了标签稀缺，但**只能检索/分类，不能生成**，且对齐是全局级（丢失局部病灶语义）。
3. **医学 MLLM 通用化**（2023-2024）：LLaVA-Med、Med-Flamingo、CheXagent、LLaVA-Rad、RadFM、MedViLaM、Med-PaLM M、Med-Gemini，把视觉编码器接入 LLM + 指令微调，统一分类/VQA/报告生成；**代价是幻觉、评测污染、算力与数据门槛陡增**（Med-Gemini MedQA 91.1% 但临床不可用）。
4. **可验证奖励 RL（RLVR）**（2024-2025）：Med-R1、MedVLM-R1、Med-RLVR、GMAI-VL-R1、MedMO，用事实性/GIoU 等可验证信号强化推理；解决了 CoT 长度与中间推理质量，但引入 reward hacking、评测套利，且 RLVR 的奖励设计仍偏文本。
5. **检索增强（RAG）+ grounding**（2024-2026）：MedRAG、MMed-RAG、MR-RAG、MAIRA-2、RGRG，知识外挂 + 位置级证据；**RAG 停在"提分"层面，缺证据归因；grounding 停在 box 级，缺 mask/时序一致性**。
6. **世界模型 / 预测性感知**（2025-2026）：CheXWorld、Xray2Xray、X-WIN，把自监督从"重建"推向"隐空间预测"（V-JEPA 系）；解决了表示中的 3D 几何缺失，但医学应用尚未产出临床可验证价值，评测协议空缺。
7. **科研自动化 agent**（2024-2026）：AI-Scientist、MLAgentBench、PaperBench、MLE-bench、SciCode、AiScientist、NERFIFY、Paper2Figure；已验证"可跑通"，正在从"能复现"走向"预算/时间约束下的性价比复现"与"paper→可复现包"的一体化。

### 2.2 关键外部文献

| 文献 | 年份/会议 | 一句话贡献 | 与本方向关系 |
|---|---|---|---|
| Med-PaLM 2 (Nat Med'25) | 2025/Nat Med | 医学文本 LLM，长回答 65% 被专科医生偏好 | 医学 VLM 的文本基线 |
| Med-Gemini (arXiv'24) | 2024/arXiv | MedQA 91.1%，3D CT 报告 + 不确定度引导搜索 | 医学 VLM 能力天花板 |
| LLaVA-Med (NeurIPS D&B'23) | 2023/NeurIPS | PMC-OA 一天训练医学 VLM | 医学 VLM 开山配方 |
| LLaVA-Rad + CheXprompt (Nat Commun'25) | 2025/Nat Commun | 7B 轻量放射报告模型 + 事实性评测指标 | CXR 报告生成 + 评测 |
| CheXagent (arXiv'24) | 2024/arXiv | CXR 专属基础模型（多编码器集成） | CXR VLM 直接基线 |
| MedViLaM (arXiv'24) | 2024/arXiv | MultiMedBench 20.5M 指令对统一医学多模态 | 医学 grounding/多任务基线 |
| RadFM (Nat Commun'25) | 2025/Nat Commun | 2D+3D 放射通用模型 + RadBench 基准 + UMLS 指标 | 放射评测格局 |
| MedImageInsight (arXiv'24) | 2024/arXiv | 微软开源通用医学嵌入（X-ray/CT/US/病理） | 医学检索/分类强基线 |
| Med-R1 (TMI'25) | 2025/TMI | RLVR 提升医学 VLM 推理与泛化 | RLVR 医学标杆 |
| MedVLM-R1 (MICCAI'25) | 2025/MICCAI | 可验证奖励激励医学推理（206 引用） | RLVR 医学标杆 |
| GMAI-VL-R1 (arXiv'25) | 2025/arXiv | 医学多模态 RL 调优，OOD 四基准 | RLVR + 评测 |
| MMed-RAG (arXiv'24) | 2024/arXiv | 医学多模态 RAG 的检索生成协同 | 医学 RAG 基线 |
| MedRAG (WWW'25) | 2025/WWW | 知识图谱+检索增强诊断 copilot | 医学 RAG 临床化 |
| RadFlag (ML4H@NeurIPS'24) | 2024/ML4H | 采样一致性黑盒幻觉检测 | 医学幻觉检测 |
| MAIRA-2 (arXiv'24) | 2024/arXiv | 区域级 grounded 放射报告生成 | grounding 报告基线 |
| RGRG (CVPR'24) | 2024/CVPR | 报告生成的参照 grounding | grounding 报告基线 |
| MolScribe (JCIM'23) | 2023/JCIM | image-to-graph OCSR，显式坐标+价键约束 | 化学结构识别基线 |
| DECIMER.ai (Nat Commun'23) | 2023/Nat Commun | 开源 OCSR 平台，450M+ 合成图训练 | 化学 OCR 开源基线 |
| MarkushGrapher (CVPR'25) | 2025/CVPR | Markush 多模态识别 + M2S 基准 | P139 直接前作 |
| MolParser (ICCV'25) | 2025/ICCV | E-SMILES 端到端 OCSR + WildMol 7M | 化学识别 SOTA |
| PaperBench (arXiv'25) | 2025/arXiv | 复现 ICML 论文基准，最强 agent 仅 21% | 论文→代码评测 |
| MLE-bench (arXiv'24) | 2024/arXiv | Kaggle 式 ML 工程评测（bronze 16.9%） | agent 工程评测 |
| AiScientist (arXiv'26) | 2026/arXiv | File-as-Bus 长程科研工程 agent（PaperBench +10.5） | 科研自动化 agent 结构 |
| V-JEPA / V-JEPA 2 (ICCV'25 / arXiv'25) | 2024-25 | 视频隐空间预测世界模型，V-JEPA2 零样本机器人规划 | X-WIN/PriVi 的底座 |
| Xray2Xray / CheXWorld (arXiv'25) | 2025/arXiv | CXR 世界模型（3D 上下文 / 2D 动作条件） | X-WIN 直接相关 |
| SLEAP (Nat Methods'22) / DeepLabCut (Nat Neurosci'18) | 2018-22 | 无标记多动物姿态追踪 | PriVi 行为量化基线 |
| SonoCLIP (arXiv'26) | 2026/arXiv | 胎儿超声百万级区域可控 VLM（1.44M 图） | 超声 VLM 新 SOTA |
| UniMed-CLIP (arXiv'23) | 2023/arXiv | 统一医学图文预训练范式 | 医学 CLIP 基线 |
| Procedural Scene Programs (SIGGRAPH Asia'25) | 2025/SA | imperative 范式 3D 场景布局 + 程序搜索纠错 | GardenDesigner 参照系 |

### 2.3 当前 SOTA 格局与主流评测

- **医学 VQA/推理**：closed 巨头 Med-Gemini MedQA 91.1%；开源系 Qwen2.5-VL 7B + RLVR 在 MMMU-Med/MedXpertQA 等达到 ~57-60%（GMAI-VL-R1 报 MMMU 57.33）。主流评测：MedQA、PubMedQA、MedMCQA、MMLU-Med（文本）；MMMU-Med、MMMU-Pro-Med、OmniMedVQA、GMAI-MMBench、MedXpertQA、SLAKE（视觉）。
- **放射报告生成**：MAIRA-2（grounded）、LLaVA-Rad（7B + CheXprompt）、Med-Gemini-2D（专科医生 57%/96% 正常/异常"equivalent or better"）；事实性指标 RadGraph F1、CheXprompt、GPTRadScore。RadBench 提供人工核验的 VQA/报告/诊断推理子集。
- **医学 grounding**：MedMO（GIoU 较 Fleming-VL +37%）、RGRG、MAIRA-2 区域级；但公开基准（CheXLocate、MS-CXR 等）规模小，评测未标准化。
- **化学结构识别**：BioVista 全分 MolParser 1.5 (79.5)、MolMiner (77.4)、MolScribe (70.3)；真实专利 Markush 仍是低水平（IP5-M 表 F1 仅 13%），海量 headroom。
- **科研 agent**：PaperBench 最强 ~21%（Claude 3.5 Sonnet + 开源脚手架）；MLE-bench bronze 16.9%；AiScientist 以 File-as-Bus 在 PaperBench/MLE-bench-Lite 显著提升；NERFIFY 证明**域内 CFG 约束**可达到专家代码水平（±0.5dB PSNR）。
- **行为视频**：PriVi 域级继续预训练 V-JEPA 在 ChimpACT/PanAf500/BaboonLand/ChimpBehave 全面超越全微调；姿态侧 SLEAP/DeepLabCut 仍是标配。

### 2.4 方向级根本缺陷（Open Gaps）

1. **医学 VLM 的可信落地缺失（幻觉/不确定度/grounding）**：能力曲线与信任曲线严重背离。现有评测（LLM-as-judge、含训练分布的 benchmark）系统性高估能力；幻觉检测（RadFlag）只是后置过滤，未进入训练闭环。**为什么没解决**：可信需要"生成→验证→修订"闭环与新的评测协议，而社区在追 benchmark 分数。**解决需要**：把 grounding/不确定度/事实性做成可优化的训练目标，而非事后指标。
2. **医学评测污染与饱和**：MedQA 91.1%、MMMU-Med 部分数据集被反复进训练集；医疗评测需要**防污染的动态/组合式评测 + 跨中心 OOD 协议**（RadBench 是雏形但太小）。**解决需要**：医院中心数更多、人工核验的评测基建。
3. **医学 grounding 粒度粗、无统一协议**：box 级、缺 mask/时序一致性、评测集小且不统一；病灶的解剖-病变混合定位没有解耦。**解决需要**：mask 级 + 区域重读自验证 + 统一评测（可基于 CheXLocate 扩容）。
4. **医学 RAG 停在"提分"，缺证据归因与临床可审性**：检索质量、相关性调制有了，但每个 claim 不能回溯到文档/图像区域；不可审的 RAG 无法进临床。**解决需要**：claim-level 归因标注 + 归因奖励训练 + 归因评测指标。
5. **科研自动化 agent 缺"预算感知复现"**：PaperBench/MLE-bench 只测"能否跑通/得分"，不测"给定 GPU·小时与成本下的性价比复现"；真实科研者的约束是**算力预算**。**解决需要**：把预算作为一等输入，做 fidelity-budget 帕累托优化的 agent。
6. **医学世界模型/预测感知无临床可验证价值**：X-WIN 系证明表示变好，但没证明"预测投影"能转化为临床可用的新视图/容积（如单帧 CXR→3D 病灶定位）；超声 free-hand sweeps 是比 CXR 更自然的预测感知场景但无人做。**解决需要**：超声自由扫查→容积重建 + 未来帧预测 + 多中心验证。
7. **医生在环评测协议空缺**：医学 AI 论文普遍以自动指标收尾；"医生如何审阅、纠错、标注置信度"的标准化协议与数据集不存在，阻碍临床转化。**解决需要**：定义可复现的 HITL 评测流程（错误标注、修正率、接受率）。

### 2.5 红海警告

**明确不建议投入（红海/巨头集中）：**
- **通用医学 VLM 刷 MedQA/MMMU-Med**：Google（Med-Gemini 91.1%）、微软（LLaVA-Rad/MedImageInsight/Med3DVLM）、开源（Qwen2.5-VL/InternVL + Med-R1/MedVLM-R1 系）已把文本医学 QA 打满；医学数据获取难、算力门槛高，8×L40 组正面拼分数毫无胜算。
- **通用 CLIP 医学对比预训练刷检索/zero-shot**：GLoRIA/BioViL/CXR-CLIP/UniMed-CLIP/MedImageInsight 已经卷完，SonoCLIP 正在卷超声；没有独特数据源就是重复造轮子。
- **CheXpert 14 病分类、单数据集姿态估计（DeepLabCut/SLEAP 之上）**：指标饱和、可 gameable，审稿人免疫。

**蓝海与 8×L40 差异化路径：**
- 垂直模态：超声（视频/无标准化/operator-dependent）、病理（WSI 超大图）、急诊超声；这些模态巨头数据少、评估弱。
- 检索增强 + **证据归因**（把 RAG 变成可审机制）。
- 报告生成的**可控性 + 推理时事实闭环**（generate→locate→verify）。
- 医生在环评测协议与可信落地工具链。
- **预算感知复现 agent**（受限算力复现是 8×L40 组的天然叙事）。
- 医学世界模型在**超声自由扫查**场景（比 CXR 更适配预测感知）。

---

## 3. 六个可扩展 Idea

### Idea 1：EchoGround——面向超声视频的时序区域级医学 VLM 与可控报告生成

- **一句话 Pitch**：在 Qwen2.5-VL 上用 LoRA 把"单帧超声"升级为"视频 cine-loop + 区域级 grounding"的医学 VLM，让模型既报告病变又锁定它在扫查时序中的位置，实现可控、可定位的超声报告生成。
- **切入的 Gap**：Gap 3（grounding 粒度粗）+ Gap 1（可信落地）。P14（Ultrasound-CLIP）只用静态帧、无时序；MedMO 用 box grounding 但无 mask/时序一致性；超声的实时性/自由扫查/无标准化特性（要求 4）被完全忽略。
- **核心技术方案**：
  - 输入：超声 cine-loop（8-16 帧，从视频采样）+ 临床文本（切面/探头信息）；输出：结构化发现 + 每个发现的区域 mask 序列。
  - 架构改动：Qwen2.5-VL-7B，视觉侧把 16 帧 patch 序列做 temporal average pooling 压缩至 ~2048 token（避免序列爆炸）；新增轻量 mask 头（与 LLM 隐藏层并行的两层 MLP，把冻结 SAM2 提议的 mask 打分）。SAM2 在单帧上提议候选 mask，LLM 选择并文本化（"左肺下叶实变"绑定 mask id）。
  - 损失：`L = L_CE(report) + λ1·L_BCE(mask selection) + λ2·L_temporal_consistency`，其中 `L_temporal_consistency = Σ_t ||f_t - f_{t+1}||` 约束相邻帧 mask 特征稳定；训练数据用公开 BUSI 分割 mask + 自建弱标签（报告中的位置短语→mask 投影）。
  - 与最近工作的 delta：不是"加个视频 encoder"，而是**把 grounding 定义为时序一致的区域选择**（cine-loop 中同一病变的 mask 必须在帧间稳定），这是 MedMO box grounding 与 P14 单帧 CLIP 都没有的机制。
- **为什么新颖（Novelty Argument）**：审稿人最可能说"这是 P14 + MedMO 的拼装"。反驳：P14 无时序无 grounding，MedMO 无视频、box 级、无时序一致性约束；我们的核心机制（时序 grounding 一致性 + 区域级报告生成）是两者都不含的新目标函数与评测维度，直接对应超声"扫查连续性"的物理特性。
- **实验方案**：
  - 数据集：EchoNet-Dynamic（公开，12k 心动周期视频 + EF 标签）、BUSI（公开，乳腺癌 US + mask）、甲状腺 US 分类集（公开）、自建小规模 US-Report（50 例报告-位置标注，人工核验）；MIMIC-CXR 不涉及（本 idea 纯超声）。
  - Baselines：Qwen2.5-VL-7B 单帧版、P14 式 CLIP 检索、MedMO 式 box-grounding 单帧、LLaVA-Med、SonoCLIP。
  - 主表：行=方法；列=US 分类 ACC、grounding mask IoU、grounding 时序稳定性（帧间 IoU 标准差）、报告 RadGraph-F1。
  - 消融：①去掉时序一致性损失（证明它贡献 IoU 稳定）；②单帧 vs 8/16 帧（证明视频有价值）；③SAM2 提议 vs 全监督 mask（证明无需逐帧标注）；④token 压缩策略。
  - 分析/可视化：跨帧 mask 轨迹 heatmap；错误模式（医生标注的误定位）。
  - 指标：含 GPT-4o-as-judge 的事实性 + 100 例医生抽样核验。
- **8×L40 核算**：Qwen2.5-VL-7B LoRA(r=64)，bf16 + FlashAttn2 + grad ckpt；per-GPU 权重 15GB + 激活 ~10GB（16 帧压缩后）+ 优化器 4GB ≈ 30GB，8 卡 DP+ZeRO-2 无压力。数据 ~2 万条，2 epoch，bs=64，预计 500-700 GPU·h ≈ 8 卡跑 3-4 天。做不了：100 帧+长视频（序列爆炸）→ 降级为 16 帧上限 + 稀疏采样。
- **风险与退路**：风险在弱监督 mask 标签噪声。退路：把核心贡献收敛为"时序 grounding 一致性损失 + 评测协议"，报告生成可降级为"位置短语抽取"任务。为什么 2026 是时机：超声 VLM 刚起步（SonoCLIP 2026.06），EchoNet/BUSI 公开可用，Qwen2.5-VL 视频能力成熟，此窗口 1-2 年内会被填满。

### Idea 2：ReproAgent——预算感知的论文实验复现代理（Budget-Aware Paper-to-Code）

- **一句话 Pitch**：给复现代理一个"GPU·小时预算 + 目标 fidelity"，它自动规划复现路径、分配算力、早停与降级，输出 fidelity-budget 帕累托曲线，把"论文能跑通"升级为"给定算力下最值的复现"。
- **切入的 Gap**：Gap 5（预算感知复现缺失）。NERFIFY 证明 CFG+视觉反馈能复现 NeRF 论文但无视预算；PaperBench/MLE-bench 只评"能否跑通"；AiScientist 优化最终分数而非预算约束；8×L40 的"受限算力复现"叙事（要求 3）正是空白。
- **核心技术方案**：
  - 输入：论文 markdown/PDF + 预算 B（GPU·h）+ 目标任务；输出：可运行代码 + 关键实验日志 + fidelity 报告 + 复现路径（含每步算力账本）。
  - 架构：三 agent：Planner（读论文，拆"必做核心实验/可选实验/可降级实验"）、Executor（按拓扑序写码跑实验，每步记录 GPU·h 消耗）、Auditor（用轻量视觉校验——如 PSNR-minima、指标阈值——判断 fidelity）。
  - 核心机制：**预算调度器**——`剩余预算 B_r` 下，对每个实验估计 `cost_i` 与 `value_i`（对复现可信度的贡献），贪心选择；当 `cost_i > B_r` 时触发降级操作符：减 epoch/减数据子集/换更小 backbone（如 ViT-S 代替 ViT-B）/跳过消融。学习一个 cost 预估器（以论文超参、数据规模、架构为特征回归 GPU·h）。
  - 与 NERFIFY 的 delta：不是"用 CFG 约束生成代码"，而是**把预算作为一等约束做算力调度与降级策略**；与 PaperBench 的 delta：评测维度从"rubric 得分"变为"给定预算下的 fidelity"。
- **为什么新颖**：审稿人会说"这是 NERFIFY + MLE-bench 的组合"。反驳：没有现有工作把预算显式建模为可优化变量并学 cost 预估器；"受限算力下最值复现"是 2026 年 AI-for-Science 社区真实痛点（中科院/高校 8×L40 级资源复现 SOTA 论文），且 8×L40 组自身就是方法论的目标用户，叙事自洽。
- **实验方案**：
  - 数据集：自选 10-12 篇无官方代码的 CVPR/ICCV/NeRF/医学影像论文（从 NERFIFY 30 篇 + 医学论文中选），构建 ReproBench-Budget；人工专家对每篇给出参考复现（用 PaperBench 式 rubric）。
  - Baselines：NERFIFY、AiScientist（适配）、Claude/GPT-5 直接 prompt、开源 AIDE/开源复现脚手架。
  - 主表：行=方法；列=在 {50, 200, 500} GPU·h 预算下的 fidelity 分数（rubric 化）、budget 利用率、完成率、超预算比例。
  - 消融：①去掉 cost 预估器（随机调度）→ 证明预估器价值；②去掉降级操作符 → 证明降级对低预算场景的增益；③不同预算粒度；④不同基座 LLM 的鲁棒性。
  - 分析：fidelity-budget 帕累托前沿图；调度决策案例；成本账本可视化。
  - 指标：自动 rubric + LLM judge + 每篇 1 名人类专家抽样复核。
- **8×L40 核算**：无需训练，GPU 用于实际复现实验（10 篇 × 平均 150 GPU·h ≈ 1500 GPU·h，占主预算上限内）；LLM API 成本 ~$500-1500（GPT-4o/Claude 级别），在预算中单列。做不了：完整复现重型 13B+ 模型论文 → 在选题阶段排除，只选 8×L40 可复现规模（≤7B 或单卡可跑）的论文。
- **风险与退路**：风险是复现成功率低导致数据点稀疏。退路：把贡献收敛为"预算调度 + cost 预估"机制与 ReproBench-Budget 基准（评测贡献也可单独中稿）。为什么 2026 是时机：PaperBench（2025.04）刚确立论文复现评测范式，NERFIFY（2026）证明域内可行性，而预算感知是公认缺口——此刻切入可成为该子领域定义者。

### Idea 3：TrustMed-Bench——医生在环的医学 VLM 可信落地评测协议与新基准

- **一句话 Pitch**：提出一个覆盖"幻觉率、grounding 正确性、不确定度校准、医生偏好"四个维度的医学 VLM 评测基准 + 可复现的医生在环评测协议，直接回答"这个模型能不能进临床"。
- **切入的 Gap**：Gap 1（可信落地）+ Gap 2（评测污染）+ Gap 7（医生在环协议空缺）。现有评测只报 ACC/RadGraph，无法回答临床问题；Med-Gemini 91.1% 与"basilar ganglia 幻觉事故"并存，证明分数≠可信。
- **核心技术方案**（新任务/新评测定义型）：
  - 构建 TrustMed 数据集：从 CheXpert（开放协议）与 MIMIC-CXR（需 PhysioNet 认证）采样 2000 例 CXR，其中 300 例由 2 名放射科医生标注四类标签：(i) 关键发现是否存在（GT）；(ii) 发现区域框；(iii) 医生对模型输出的审阅结果（接受/修正/拒绝 + 修正耗时）；(iv) 置信度打分。
  - 协议：定义标准 HITL 流程——模型输出报告 → 医生按统一界面审阅并修正 → 记录接受率/修正率/每例耗时；给出统计口径（ICC 一致性、样本量公式）。
  - 四个维度指标：`Hallucination@claim`（用外部 verifier 对模型 claim 逐条判定，给出可复现的判定 prompt 与评分规则）、`Grounding-IoU`（claim↔GT 框）、`ECE/selective-ACC`（模型不确定度与正确率校准，含 abstention 协议）、`DoctorAcceptance`（HITL 结果）。
  - 评测范围：8 个开源医学 VLM（LLaVA-Med/CheXagent/Med-R1/MedVLM-R1/Qwen2.5-VL 医学微调版/MedMO 复现版等）+ 报告生成任务。
  - 交付：评测代码、HITL 界面、评分 prompt、指标计算器全部开源——这是"评测基建"贡献。
- **为什么新颖**：审稿人会说"这是又一个 benchmark"。反驳：现有基准只测能力不测信任；我们把 HITL 协议、幻觉判定规则、校准协议一起标准化并开源，且覆盖"模型不确定度→abstention→医生修正"的完整闭环，是首个可直接用于临床准入评估的协议层。属于"提出新问题/新评测任务"型。
- **实验方案**：
  - 数据集：CheXpert（公开，先做）、MIMIC-CXR（认证后补充，验证协议跨机构稳定）；US 侧用 BUSI 追加一个模态验证协议可迁移性。
  - Baselines/评测对象：上述 8 模型（无人工评测 baseline，全部用协议统一评估）。
  - 主表：行=模型；列=ACC、Hallucination@claim、Grounding-IoU、ECE、abstention 后 ACC、DoctorAcceptance、修正耗时。
  - 分析：①ACC 与 DoctorAcceptance 的相关性（证明刷 ACC≠被医生接受）；②不确定度 vs 幻觉的关联；③不同模型幻觉类型学（实体级/位置级/存在级）。
  - 指标：医生标注用双人 + ICC；模型指标含 GPT-verifier 与人类抽检的一致性。
- **8×L40 核算**：无训练。评测 8 个 7-13B 模型在 ~2000 例上的推理：每例 CXR 报告生成 + verifier 前向 ≈ 8 模型 × 2000 例 × 1 GPU·h/百例 ≈ 200-400 GPU·h；医生标注为人力成本（300 例 × 2 医生 × 8h）。做不了：大规模多模态全模态评测 → 首版聚焦 CXR + 报告生成，第二版扩展。
- **风险与退路**：风险是医生标注成本与招募。退路：300 例医生标注缩减至 100 例 + GPT-verifier 主评 + 医生只做子集抽检；即使如此，协议 + 自动指标层也有独立价值。为什么 2026 是时机：FDA/CFDA 对 AI 临床证据要求逐年提高，医学 VLM 论文纷纷加医生评测但无统一协议——第一个标准化协议有先发红利。

### Idea 4：Attrib-RAG——引用级证据归因的医学多模态 RAG（Claim-Level Attribution）

- **一句话 Pitch**：在医学多模态 RAG 中训练模型为每个生成 claim 绑定"检索文档中的具体段落 + 图像区域"，用归因奖励做 RLVR，把 RAG 从"提分工具"升级为"可临床审计的决策支持"。
- **切入的 Gap**：Gap 4（RAG 无证据归因）。MR-RAG 解决相关性与注意力调制，但生成与检索仍是"黑盒拼接"；MedRAG 用知识图谱但无 claim 级溯源；临床上不可审的 RAG 无法落地。
- **核心技术方案**：
  - 输入：医学图像 + 问题 + 检索文档集；输出：回答（每个 claim 附带 `<att>[doc_i, region_j]` 归因 token）。
  - 两阶段：(1) 用 GPT-4o + 抽取器构造弱归因训练数据——对 VQA-Rad/SLAKE/PathVQA 与自建 MIMIC 子集，让 LLM 把 GT 答案拆成 claim 并标注来源文档段落（图像区域用 CLIP 检索+文本定位近似）；(2) 在 Qwen2.5-VL-7B 上 LoRA SFT 学归因格式，再用 GRPO 强化：`r = r_fact(claim↔GT) + α·r_att(claim↔检索证据的语义一致性) − β·r_uncited(无归因 claim 惩罚)`，其中 `r_att` 用 frozen cross-encoder 计算 claim 与候选证据段落的相关分。
  - 检索端直接用 MR-RAG 的 MCR（或更强 ColBERT）保证文档质量，我们的增量全在生成端归因。
  - 与 MR-RAG 的 delta：不是调制注意力，而是**训练模型显式输出证据绑定 token，并把归因正确性放进奖励函数**——这是可审计性，不只是相关性。
- **为什么新颖**：审稿人会说"这是 RLAIF + RAG 拼装"。反驳：现有医学 RAG（MR-RAG/MMed-RAG）无一输出可审计的证据绑定；归因奖励（r_att）进入 RLVR 训练此前无人做；我们同时给出归因评测指标（claim→证据 F1）——这是"RAG 可解释性"子问题的首次端到端解法。
- **实验方案**：
  - 数据集：VQA-Rad、SLAKE、PathVQA（公开）+ 自建 MIMIC-CXR 证据归因子集（需认证）；检索语料用对应论文库 + 医学教科书片段（公开）。
  - Baselines：MR-RAG、MMed-RAG、Self-RAG、CRAG、vanilla Qwen2.5-VL+RAG、MedRAG。
  - 主表：行=方法；列=VQA ACC、claim-level factuality（verifier）、Attribution F1（claim↔证据）、unsupported-claim 率、abstain 率。
  - 消融：①去掉 r_att（只保留 r_fact）→ 证明归因奖励不可由事实奖励替代；②去掉弱归因 SFT（直接 RL）→ 证明两阶段必要；③不同检索器（MCR vs 简单 CLIP）；④证据数量 k 的影响。
  - 分析：归因错误类型学（错段落/错区域/编造证据）；人类抽检 100 例归因质量。
  - 指标：GPT-4o-as-judge 的 factuality + 人工抽检归因。
- **8×L40 核算**：Qwen2.5-VL-7B LoRA + GRPO，per-GPU ~30GB（同 Idea 1）；两阶段合计 800-1200 GPU·h（SFT 2 万条 2 epoch + GRPO 2000 步 × 8 卡微批）≈ 8 卡跑 5-7 天。检索索引构建 CPU 可做。做不了：34B+ 模型推理侧蒸馏 → 用 AWQ 4bit 在 8×L40 上跑 34B 作教师蒸馏小模型。
- **风险与退路**：风险是弱归因标签质量不足导致 r_att 信号弱。退路：若 RLVR 不稳定，退回"SFT 归因格式 + 后处理验证器"方案（不训 RL），仍可发归因评测 + 方法。为什么 2026 是时机：MR-RAG（2026）确立"相关性感知"范式，下一步必然走向归因；医学合规审计需求使"可审 AI"成为评审热点。

### Idea 5：US-WORLD——超声自由扫查的预测性容积世界模型

- **一句话 Pitch**：把 X-WIN 的"预测性感知"搬到超声：从自由扫查的 2D 帧序列学习容积世界模型，隐空间预测未来帧与"探头变换下的新切片"，实现无标准化超声的几何一致性表示，并验证跨中心诊断增益。
- **切入的 Gap**：Gap 6（医学世界模型无临床价值）+ Gap 3（grounding/几何缺失）。X-WIN 只在 CXR+CT 投影上做；超声的 free-hand sweep 天然是连续角度投影族，比 CXR 更适配"预测感知"，且超声无标准像、实时、operator-dependent（要求 4）——但超声域无人做容积世界模型。
- **核心技术方案**：
  - 输入：超声帧序列（8-32 帧，自由扫查切片）；自监督目标：(i) 隐空间未来帧预测（V-JEPA 式 mask/预测），(ii) **slice-to-volume 一致性**：把相邻帧作为同一容积的不同切面，约束它们的隐表示落在同一容积流形上（对比/度量损失），(iii) 可选的 3D 重建头（用 3DGS/NeRF-lite 在少量 3D 标签上微调）。
  - 架构：ViT-L 视觉 encoder + latent predictor（V-JEPA 式 EMA 目标网络）；预测头输出隐 token；一致性损失 `L = L_predict(ẑ_t, z_t) + λ·L_vol(相邻帧隐表示在容积坐标系下的平滑性)`。
  - 两阶段：(1) 在大量 2D 视频（EchoNet-Dynamic 12k 视频、公开 POCUS 集）上预训练预测头；(2) 用 3D 超声/CT 容积做 slice-sweep 仿真 + 少量真实 3D 超声（如公开胎儿/甲状腺/颈动脉 3D 集 [未验证具体可用集，需调研]）做容积一致性校准。
  - 与 X-WIN 的 delta：X-WIN 用 CT 容积蒸馏 CXR 投影；我们在**超声视频上以无监督时序预测 + 切片一致性**获得容积先验，不需 CT 配对，且给出"探头运动鲁棒表示"这一超声特有验证。
- **为什么新颖**：审稿人会说"这是 X-WIN 迁移到超声"。反驳：超声与 CXR 物理不同（非投影成像，是扇扫/线阵切片），容积一致性目标、探头运动鲁棒性评测都是超声特有设计；且我们**不依赖 CT 监督**，用纯视频自监督（这是对 X-WIN"需要容积标签"的关键改进）。
- **实验方案**：
  - 数据集：EchoNet-Dynamic（公开）、BUSI、公开 POCUS 视频、3D 超声/容积模拟（公开 CT 胸部子集如 LIDC 生成 sweep 仿真）；下游跨中心分类用多中心甲状腺/乳腺超声。
  - Baselines：V-JEPA（原版）、X-WIN（在 CXR 上，尝试适配）、MAE/VideoMAE、CLIP 单帧、医学专用 CLIP。
  - 主表：行=方法；列=冻结 linear probing 分类（跨中心）、few-shot ACC、帧预测指标（SSIM 隐空间重建）、grounding 一致性、探头运动扰动下 AUC 稳定性。
  - 消融：①去容积一致性损失（只剩时序预测）→ 证明容积约束贡献；②预测头深度；③帧数；④仿真 sweep vs 真实视频训练占比。
  - 分析：预测新切片可视化（伪 3D 重建）；探头运动鲁棒性实验（扰动输入帧序）。
  - 指标：分类 AUC + 重建质量 + 医生对合成切片的真实性核验（100 例）。
- **8×L40 核算**：ViT-L latent 世界模型（~300M）全参或 LoRA 微调，per-GPU 激活 <20GB；预训练 500 万帧量级用 8 卡跑 3-5 天 ≈ 600-1000 GPU·h；重建微调（3DGS-lite）另 300 GPU·h。做不了：像素级视频生成（DiT 全参）→ 降级为隐空间预测 + 伪重建，明确不做 photorealistic 合成。
- **风险与退路**：风险最大的是"无 CT 监督的容积一致性"可能学不到真几何。退路：若隐空间预测不收敛，退到"仿真 sweep + 强监督投影一致性"（有容积标签），仍是超声世界模型新结果；若跨中心增益不显著，收敛为"探头运动鲁棒表示"的机制论文。为什么 2026 是时机：X-WIN/Xray2Xray（2025-2026）刚证明医学投影预测可行，超声 VLM 萌芽（SonoCLIP），但超声时序/容积理解是真空——这是高风险高回报的 oral 窗口。

### Idea 6：Ground-Verify——医学 VLM 的 mask 级 grounding 与"生成-定位-重读"自验证闭环

- **一句话 Pitch**：让医学 VLM 在回答时先定位（SAM2 提议 mask + 模型选择），再对 mask 区域做放大重读验证，用"回答-定位一致性"做训练奖励，从机制上压制医学幻觉。
- **切入的 Gap**：Gap 1（可信落地）∩ Gap 3（grounding 粒度）。MedMO 用 box GIoU 奖励但无自验证；RadFlag 只是后置过滤；幻觉问题需要进入"生成回路"。把 grounding 变成**推理机制**而非评测标签，是可信落地的最直接路径。
- **核心技术方案**：
  - 三阶段推理：(1) 生成 draft 回答（含发现 claim）；(2) 对每个 claim 用 SAM2 在图像上提议 top-k mask，LLM 用视觉 token 选择相关 mask；(3) **重读验证**：把选定 mask 区域 crop+放大编码，与 draft claim 做一致性打分，不一致则修正（受限重写）。
  - 训练：LoRA SFT 学 (claim, mask 选择) 配对；再 RLVR：`r = r_fact(claim↔GT) + γ·r_consist(claim↔放大重读特征)`，`r_consist` 用 frozen cross-encoder 把 claim 与放大区域描述对齐。
  - 关键设计：重读路径共享同一视觉 encoder（区域 crop 过 projector 再入 LLM），保证验证信号可回传。
  - 与 MedMO 的 delta：MedMO 用 GIoU 奖励学 box 定位但**不把定位用于验证生成内容**；我们把"定位→重读→一致性"做成显式推理回路，幻觉被结构性地暴露在"位置对不上"上。
- **为什么新颖**：审稿人会说"这是 SAM2 + MedMO 的拼装"。反驳：SAM2 只是提议器，核心贡献是**"区域重读一致性"作为训练奖励 + 推理时自验证回路**——把 grounding 从输出约束变为生成可信度的内部证据；RadFlag 只检测不修正，我们修正；这构成"可信 VLM"机制层的新贡献。
- **实验方案**：
  - 数据集：MIMIC-CXR（认证）+ CheXpert（公开）grounding 报告子集、MS-CXR（公开的解剖区域标注）、CheXLocate；VQA 幻觉探针（自建：存在性/位置性/实体替换三类反事实问题，每类 300 例）。
  - Baselines：MedMO（复现版）、RGRG、MAIRA-2、Qwen2.5-VL + SAM2 后处理（无训练版本）、LLaVA-Rad。
  - 主表：行=方法；列=RadGraph-F1、Grounding IoU（mask 级）、幻觉探针 ACC（三类分列）、uncertainty ECE、abstain 后 ACC。
  - 消融：①去掉重读一致性奖励（只保留事实奖励）→ 证明自验证奖励不可替代；②去掉放大重读（只用原图定位）→ 证明"放大"信息增益；③SAM2 提议 k 的敏感性；④推理时验证轮数（1/2/3 轮）→ 证明收敛。
  - 分析：幻觉案例"位置对不上→修正成功"轨迹可视化；GPT-4o 与医生的幻觉判定一致性。
  - 指标：自动指标 + GPT-4o-as-judge + 100 例医生核验。
- **8×L40 核算**：Qwen2.5-VL-7B LoRA（同前，~30GB/卡）+ SAM2 frozen（~2GB）；SFT 1.5 万条 + RLVR 1500 步 ≈ 600-800 GPU·h ≈ 8 卡 4-5 天。推理时自验证增加 ~2× 推理开销（可接受）。做不了：同时多模态病理大图（WSI）→ 首版 CXR，病理留作扩展。
- **风险与退路**：风险是重读一致性与事实性可能冲突（放大区域信息不足）。退路：若 RL 不稳，退到"推理时自验证 + 修正"纯方法（不训练），配合幻觉探针基准仍可发；探针基准本身有独立价值。为什么 2026 是时机：幻觉是医学 VLM 审稿头号攻击点，MedMO/Valor（2025-2026）刚把 grounding-RL 立起来，"验证回路"是自然的下一跳，竞争窗口开放。

---

## 4. 优先级建议

| Idea | 新颖度 | 工作量 | 风险 | 8×L40 契合度 | 推荐投稿目标 | 建议启动顺序 |
|---|---|---|---|---|---|---|
| Idea 3 TrustMed-Bench | 中高（新任务/协议） | 低（无训练） | 低-中（医生招募） | 极高（纯推理） | CVPR/NeurIPS D&B 或 TMI | 1（立即可开，建立医学 VLM 评测话语权） |
| Idea 2 ReproAgent | 中高（新评测维度） | 中（工程） | 中（复现成功率） | 极高（天然叙事） | CVPR/NeurIPS workshop 起步，主会冲 | 2（与 Idea 3 并行，纯 API+GPU 复现） |
| Idea 1 EchoGround | 中（增量明确） | 低 | 低 | 高（7B LoRA） | CVPR/ICCV 主会稳定中稿 | 3 |
| Idea 4 Attrib-RAG | 中高 | 中 | 中 | 高 | CVPR/NeurIPS | 4 |
| Idea 6 Ground-Verify | 高（机制层） | 中-高 | 中高 | 高 | CVPR oral 候选 | 5（等 Idea 3 的评测协议成型后做） |
| Idea 5 US-WORLD | 高（新场景） | 高 | 高 | 中-高（隐空间可行） | CVPR oral 候选 / ECCV | 6（最晚，需先验证数据） |

**执行策略**：Idea 3 与 Idea 2 先用 1-2 个月立住"评测 + 复现"两个话语权（零训练成本），同步解锁医学数据认证（MIMIC 申请周期 2-4 周）；Idea 1 作为低风险保底中稿；Idea 6 与 Idea 5 作为冲击 oral 的高风险项目，各自 2-3 个月验证关键假设（Idea 6 验证重读一致性奖励是否有效；Idea 5 验证超声无监督容积一致性是否收敛）后再全量投入。总 GPU·h 预算（Idea 1+4+6+5 核心实验）控制在 ~3500 GPU·h 内，超出部分用 API 与 CPU 基建摊薄。