# M3｜多模态模型高效化：视觉 Token 压缩 / KV Cache / 量化 / 小模型 / 高效训练

## 0. 方向速览

MLLM 的视觉编码会产生 576–2880 个/图、上万个/视频的视觉 token，使 self-attention 二次复杂度、KV cache 与推理显存成为部署瓶颈。本方向试图用 token 剪枝/合并、KV cache 压缩、量化、架构级压缩、小模型与高效训练来"省"。目前卡在三点：(1) 训练无关剪枝已卷成红海且评测崩坏（随机剪枝 > 精心设计、下采样 > 高级方法、语言先验兜底、FLOPs 冒充延迟）；(2) 方法多为"第 N 个打分函数"，缺少机制级（可微预算、可逆压缩、率失真理论）与系统级（FP8 真延迟、内存带宽瓶颈）突破；(3) 训练侧效率与受限算力下的"少数据也能训好"几乎没有 MLLM 专属方案。

## 1. 论文逐篇评析

### [P4] GR-Gauge: Cost-efficient Training Configuration By Gauging the Gradient Redundancy

- **核心贡献**：把训练过程建模为"迭代维度 × 样本维度"的二维投票，用梯度冗余度作为轻量信号来指导 HPO 配置搜索与试验早停，替代重量的 validation 信号。
- **优点**：(1) 动机来自真实痛点——云端训练服务的非专业用户最常踩的坑就是 LR/batch size 配置，比"再提一个 SOTA 模型"更有普适价值；(2) 用训练中段即可获得的梯度统计量替代耗时 validation，切中了 HPO 的成本瓶颈；(3) "冗余度存在跨模型相似的工作区间"这一经验规律若成立，是一个可迁移的强假设；(4) 把早停从"看 loss 平台期"升级为"看梯度信息增益枯竭"，机制上更本质。
- **不足**：(1) "二维投票"是直觉隐喻，梯度冗余度与最优 LR/batch 的因果链没有形式化——审稿人会问：为什么冗余度适中就对应最优配置？能否给出反例（如动量/AdamW 的梯度历史抹平冗余信号）？(2) 梯度冗余度在小 batch、噪声优化器（AdamW ε 小）下自身方差很大，作为 HPO 信号可能不稳，尤其对视觉/多模态数据；(3) 摘要未报告与 ASHA/BOHB/PB2 等标准 HPO 基线的对比表，也没有说明 gauge 本身的额外算力开销（若每步都要算梯度统计，成本可能吃掉节省）；(4) "冗余度跨模型相似"的恒定性假设没有假说检验，若只在少数模型族上成立则泛化性存疑。
- **可延展信号**：把梯度冗余度从"配置搜索"推广到"训练中数据调度"（哪些样本梯度被覆盖、可以跳过）——这正是本清单 P9 的动机，但 GR-Gauge 给了一个比任务指标（recall/precision）更原则化的判据，两者合并是天然下一步。

### [P6] DocPrune: Efficient Document Question Answering via Background, Question, and Comprehension-aware Token Pruning

- **核心贡献**：针对文档图像"大背景 + 稀疏证据"的结构稀疏性，设计训练无关的 token 剪枝：按背景无关性/问题相关性/理解度三层信号裁剪，并自动选择从第几层开始剪（由模型自身理解度驱动）。
- **优点**：(1) 任务定位精准——文档图确实是现有自然图像剪枝方法表现最差的一类（背景占比高、证据稀疏、OCR 纹理密集），这个 gap 是真的；(2) "自动选择剪枝起始层"很有价值：把"剪哪几层"从手工调参变成自适应决策，是多数剪枝论文不做的事；(3) 在 M3DocRAG 上同时报 encoder 3.0x/decoder 3.3x 吞吐提升与 F1 +1.0，训练无关且没有破坏性返工；(4) 文档问答是有商业价值的落地场景，容易被工程社区接受。
- **不足**：(1) "问题相关性"依赖文本-视觉交叉注意力，而这正是被 `VisionDrop (arXiv'25)` 指出的"跨模态错位"高危信号——文档里的表格/图注与问题文本的注意力对齐极不可靠，机制上脆；(2) M3DocRAG 是多模态 RAG 流水线，3.0x/3.3x 是否包含了 ColPali 检索成本、检索 top-k 页面本身是否已稀释剪枝收益，没有说清；(3) DocVQA 类问题大量可用 OCR/文本先验作答（如年份、金额），"剪枝后 F1 反升 +1.0"极可能是语言先验补偿或回归噪声，缺 blind baseline 无法证伪；(4) 只在 M3DocRAG 一个基准上验证，没按证据模态（纯文本页/图表页/扫描件）拆分，也不知道在纯图表型文档上是否崩。
- **可延展信号**：文档场景是"语言先验最容易被误解为视觉能力"的重灾区——把 DocPrune 与盲基线（去图/只给 OCR）对照，即可顺势产出一篇"文档 VQA 压缩到底保住了多少视觉信息"的诊断型工作。

### [P9] Does YOLO Really Need to See Every Training Image in Every Epoch?

- **核心贡献**：提出 Anti-Forgetting Sampling Strategy (AFSS)，用 min(检测 recall, precision) 度量每张图的"学习充分度"，把训练图动态分为 easy/medium/hard 三档：easy 稀疏复读、medium 部分采样、hard 每 epoch 全采，在 YOLO 系列上拿到 >1.43x 训练加速且不掉点。
- **优点**：(1) 问题提得好——"You Only Look Once"哲学与训练时"每张图看 N 遍"的矛盾是个聪明的反讽切入；(2) 按"容易-中-难 + 防遗忘复读"的课程式采样结构完整，且显式处理了被忽略样本的遗忘问题（很多 data selection 工作只选难的导致灾难性遗忘）；(3) 同时覆盖自然图像（COCO/VOC）与遥感（DOTA/DIOR）四份检测数据集，实验面宽；(4) 对检测这种"难例定义清晰（recall/precision）"的任务，信号廉价且任务对齐。
- **不足**：(1) 1.43x 的加速对于"训练不看所有图"这一强主张偏温和——采样打分本身（每阶段重算全量图的 recall/precision）的算力成本是否计入？未计则净收益打折；(2) 稀疏复读的"防遗忘"机制与"跳过已学样本"天然矛盾，防遗忘的补偿采样会吃掉一部分加速，两者的最优平衡是纯经验调参；(3) 采样改变 batch 构成 → BN 统计量漂移，YOLO 系全部依赖 BN，论文未讨论此机制风险；(4) easy/medium/hard 的划分阈值（何时从 medium 降为 easy）是启发式，没有收敛性保证；(5) 结论能泛化到什么程度未知——单阶段检测器之外（如更小/更大的检测架构）未验证。
- **可延展信号**：把"学习充分度"从任务指标换成更原则化的梯度覆盖度（衔接 P4 的 GR-Gauge），并迁移到 MLLM 的 SFT 数据调度，是这个清单里训练侧最有接力价值的坑。

### [P33] Blink: Dynamic Visual Token Resolution for Enhanced Multimodal Understanding

- **核心贡献**：模拟人类"眨眼式"动态扫视，在单次前向内用注意力图估计视觉 token 显著性，对重要 token 做即插即用式 token 超分（TokenSR）并跨层保持，焦点丢失时再丢弃，实现"先广扫后聚焦"的动态视觉分辨率。
- **优点**：(1) 把"动态分辨率/预算"做成前向内的自适应机制而非固定压缩比，方向比静态剪枝更接近"按需分配"；(2) TokenSR 的"临时放大-随后回收"避免了剪枝不可逆丢失，是一条值得做的可逆性路线雏形；(3) 论文先做了一组 pilot 分析（不同层注意力对不同区域）再设计方法，有观察-设计闭环；(4) 声称 plug-and-play，不动训练。
- **不足**：(1) "眨眼"是包装性类比，机制上等价于"注意力显著性驱动的动态上采样"，与 FastV 谱系共享同一个软肋——注意力位置偏置（首尾 token 高关注）在自然图上会把焦点拉偏；(2) 效率账目不清：TokenSR 把 token 放大再加入后续层，是"先省后加"，净计算收益取决于放大倍数与保留层数，摘要未给真实延迟/显存数字，只有"有效性验证"；(3) "焦点丢失即丢弃"是手工规则，丢弃-保持的切换没有学习或概率建模；(4) 没有跟 DART/HoloV/VisionZip 这类 2025 SOTA 在同一张表上对比，也没有盲基线，高压缩比下语言先验兜底的风险未排除。
- **可延展信号**：TokenSR 的"可恢复放大"思路可以形式化为"基础压缩 + 查询触发再膨胀"的可逆压缩（见 Idea 4），Blink 是最接近这一机制雏形的论文。

### [P37] MASQuant: Modality-Aware Smoothing Quantization for Multimodal Large Language Models

- **核心贡献**：以 SmoothQuant 为案例诊断出多模态量化的两个失败模式——Smoothing Misalignment（视觉/语言激活对 smoothing 的敏感性不同）与 Cross-Modal Computational Invariance（模态间激活差异破坏统一量化），并提出模态感知平滑（MAS）分模态学 smoothing 因子 + 跨模态补偿（CMC）用 SVD 白化把模态差异转成低秩形式。
- **优点**：(1) 不满足于"把 LLM 量化方法搬到 MLLM"，而是先做机制归因（为什么 SmoothQuant 在多模态上失效），这对 PTQ 社区是及时的科学贡献；(2) 模态感知的敏感性分析承接了 `MBQ (CVPR'25)` 的发现（语言/视觉 token 量化敏感性差异显著），并推进到 smoothing 因子层面；(3) 覆盖 dual-modal 与 tri-modal MLLM，泛化面比只做 LLaVA 的工作宽；(4) SVD 白化转低秩的补偿设计有数学动机，不是纯启发式。
- **不足**：(1) "计算等价性（computational equivalence）"表述含糊——若低秩补偿需要在反量化阶段恢复高秩运算，实际 kernel 收益与 claim 是否一致没给延迟证据；(2) 只以 SmoothQuant 为病例，对旋转类（QuaRot/SpinQuant 谱系）与重建类（GPTQ/OmniQuant）是否同样 misalign 未讨论；(3) SVD 白化按 block 做，校准成本与数值稳定性（长尾小奇异值）没有分析；(4) 摘要只说 "competitive among SOTA"，缺与 MBQ/Q-VLM/LLMC 的 W4A8/W3A16 明细表与真实端到端加速（tokens/s、峰值显存）；(5) 没有验证与视觉 token 剪枝叠加（量化+压缩联合）的行为。
- **可延展信号**：MASQuant 的模态敏感性分析是现成的"多模态 FP8 KV cache 尺度校准"基础——L40 的 FP8 恰好需要 per-tensor/per-channel 尺度设计（见 Idea 3）。

### [P42] MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering

- **核心贡献**：面向长流式视频 QA，把离线 KV cache 按 patch/帧/段三级粒度组织，用自注意力 + 频域双信号做 token 压缩，在线问答时用 semi-hierarchical 检索取出相关 KV。
- **优点**：(1) 直击流式视频场景"帧级缓存冗余 + 帧内空间细节丢失 + 跨帧时序丢失"三个真实痛点，多粒度保真是对单粒度 KV 压缩的合理升级；(2) 频域 + 注意力双信号的设计比单一注意力分数更鲁棒，是 KV 重要性估计上少见的组合；(3) 离线压缩 + 在线检索的流水线符合流式部署形态（视频先编码入库，问答时按需取）；(4) 声称压缩模块单独带来 accuracy/memory/QA 效率三方面一致提升，消融诚意足。
- **不足**：(1) "semi-hierarchical 检索"是双刃剑：若精度提升主要来自检索命中了关键片段，则贡献归因不清——压缩模块 vs 检索模块 vs 两者的交互必须分开消融；(2) 多粒度缓存本身就膨胀存储（patch/帧/段三份），"不牺牲 memory"的 claim 需要与 full KV cache 的显存差直接对比；(3) 流式设置下 benchmark 不明（摘要未点名），VideoMME 的流式/长段切分与 MLVU 这类标准还没对齐，难复现；(4) 未与 `Video-X²L (arXiv'25)`、`PureKV (arXiv'25)`、PyramidKV 等视频 KV 压缩同台对比；(5) 频域信号（DCT 系）对文本 token 是否适用、对跨模态注意力是否有帮助未讨论。
- **可延展信号**：视频 KV 压缩缺的是"评测协议"与"盲基线"——长视频问答里大量问题靠字幕/常识可答，MuKV 这类检索型方法最适合做"去掉视觉 KV 还剩多少精度"的诊断。

### [P73] Downscaling Intelligence: Exploring Perception and Reasoning Bottlenecks in Small Multimodal Models

- **核心贡献**：系统剖析小多模态模型的能力瓶颈，发现 LLM 容量缩小对视觉能力（感知）的伤害不降反升——感知退化幅度 ≥ 推理退化；据此提出 visual extraction tuning（显式训练模型抽取任务相关视觉细节）+ 逐步推理，即 Extract+Think 范式。
- **优点**：(1) 选题稀缺——绝大多数"小模型"论文只报分数，几乎没人回答"为什么变小会崩、崩在感知还是推理"这一机理问题；(2) 用控制变量（只缩 LLM、固定视觉编码器）隔离出"感知退化独立于推理退化"，结论可证伪、有信息量；(3) Extract+Think 把"先提取再推理"显式化，对下游小模型部署有直接指导；(4) 与 SmolVLM 的容量配比观察（视觉/语言组件比例失衡时性能崩）形成互补证据。
- **不足**：(1) 因果解释存疑：视觉编码器固定、LLM 缩小，"感知退化"可能只是接口/投影器没有随 LLM 缩放而重新对齐（欠优化 artifact），而非感知能力的根本性损失——需要控制"同参数量下重新对齐"的对照；(2) 感知 vs 推理的划分依赖 benchmark item 分类，GQA/TextVQA 的题项很难干净二分，指标可能被标注噪声污染；(3) visual extraction tuning 的机制细节不透明：抽取目标用什么监督信号、是否只是 caption-then-reason 链的翻版（TALC/ThinkVQA 类先例），边界没说清；(4) 小模型系列选择、数据量、训练预算没有在摘要给出，复现门槛高；(5) 结论是描述性的（scaling 不对称），没有给出"该往哪边投容量"的量化决策规则。
- **可延展信号**：这篇为"小 MLLM 的容量配比 + 训练信号设计"开了头——把它与梯度/信息论视角结合（哪些层的容量对视觉能力敏感），可以做成小模型的"可解释 scaling law"（见 Idea 2 与 Idea 6 的关联）。

### [P118] Prune2Drive: A Plug-and-Play Framework for Accelerating Vision-Language Models in Autonomous Driving

- **核心贡献**：面向自动驾驶多视角 VLM 的训练无关 token 剪枝：diversity-aware 选择（跨视角语义+空间覆盖）+ view-adaptive 剪枝率控制器（按相机对下游任务的重要性学剪枝比例）；10% token 保留时 prefill 加速 6.4x、FLOPs 降到 13.4%、DriveLM 平均掉点仅 3%。
- **优点**：(1) 场景选择聪明——多视角高分辨率驾驶图像 token 数爆炸最严重，且车端对延迟/显存最敏感，效率动机无可辩驳；(2) "view-adaptive"（不同相机视角用不同剪枝率）利用了环视任务的结构先验（后视/侧视 vs 前视重要性不同），是任务特化的正确做法；(3) 不依赖 attention map，兼容 FlashAttention-2 等高效 kernel，工程上可落地；(4) DriveLM/DriveLMM-o1 都是 2025 年新基准，评测时效性好。
- **不足**：(1) "训练无关"与"view-adaptive 控制器自动学习剪枝率"存在张力——控制器若在推理时在线学习或需离线拟合，应明确其训练/校准成本；(2) 3% 平均掉点对驾驶是伪安全：必须按危险子类（近距离障碍、夜间、雨雾、罕见交通事件）拆分误差，平均指标会掩盖灾难性退化，这是 safety-critical 场景的基本底线；(3) DriveLM 类 QA 基准答案分布高度偏置（"是/否"与场景常识），语言先验严重，缺 blind baseline；(4) 只有两个 QA 基准、无真实预训练权重部署下的端到端（感知+规划）闭环评测；(5) diversity 计算（跨视角覆盖）本身是 O(N²) 级的相似度运算，选择阶段的真实开销未报。
- **可延展信号**：驾驶场景是"评测必须有盲基线 + 错误必须按安全语义分层"的样板——把这两条做成剪枝论文的硬性评测协议（见 Idea 1），Prune2Drive 是第一个被开刀的对象。

### [P135] DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

- **核心贡献**：把"编码器输出处的纯视觉冗余压缩"与"语言骨干内的文本引导逐层丢弃"统一为双阶段可训练管线，端到端训练让 LLaVA-1.5-7B 在 -67% token 时保持 99%+ 精度、-89% 时 >97%，Video-LLaVA 上 -53.1% token 反而 >100% 精度。
- **优点**：(1) 训练与推理统一的意识正确——红海批评早已指出训练无关剪枝在高压缩比必崩，DUET 明确走 training-aware 路线并拿到显著更高保留率；(2) 双阶段分工清晰（编码器端视觉冗余 + LLM 内文本引导），与单独任一阶段相比消融空间大；(3) 同时覆盖图像与视频（Video-LLaVA 实验），展示了对任务类型的泛化；(4) 开源代码，可复现性好。
- **不足**：(1) ">100% 精度"是危险信号——压缩后反而超过原始模型，要么证明是去噪收益（需给出可复现的机制证据），要么就是基准噪声/评测口径问题；审稿人会直接要求 significance test 与盲基线；(2) 文本引导丢弃继承了交叉模态错位风险（VisionDrop 的批评：文本 token 未必可靠地指示视觉 token 重要性），且在文档/图表类任务上最易翻车；(3) 训练时做逐层丢弃与 FlashAttention-2/批量推理/缓存优化的兼容性未讨论，工程收益（真实延迟 vs 只报 token 数）缺失；(4) 与 `EPIC (NeurIPS'25)`（同样做训练感知压缩但用渐进蒸馏缓解特征空间扰动）、MQT-LLaVA、LLaVA-Mini 的边界不清——"为什么训练感知压缩不再需要蒸馏/预融合"没有论证；(5) 未报训练成本（端到端重训 7B 的 GPU·小时），training-aware 的总成本效益不明。
- **可延展信号**：training-aware 压缩的"训练成本 vs 推理收益"经济学没人系统算过账——可以做一个"训练预算受限（如 ≤200 GPU·h）下哪类压缩方法性价比最高"的实证研究（衔接 Idea 2 的训练效率叙事）。

### [P154] AdaSpark: Adaptive Sparsity for Efficient Long-Video Understanding

- **核心贡献**：把长视频切成 3D 时空 cube，用 Adaptive Cube-Selective Attention（每个 query token 只注意选中的相关 cube）+ Adaptive Token-Selective FFN（只处理 cube 内显著 token），熵驱动的 Top-p 选择按输入复杂度自适应分配算力，FLOPs 减 57% 且保持密集模型精度（小时级视频基准）。
- **优点**：(1) 显式地把"不可逆信息丢弃"与"刚性稀疏模式"列为要对抗的两大缺陷，定位准确；(2) 3D cube 粒度同时保留空间与时间局部性，比逐帧稀疏更能保持长程时序建模；(3) attention 与 FFN 双路稀疏是同粒度下少见的系统化方案；(4) 熵/复杂度自适应比固定剪枝率更贴近"按输入难度分配算力"的理想。
- **不足**：(1) 每个 query 的 cube 选择若用注意力路由，router 本身是 O(N) 级计算，且稀疏选择可能破坏 FlashAttention 的高效 kernel 路径——"57% FLOPs 减少"与实际墙钟/显存收益的差距没有交代；(2) Top-p 熵作为复杂度代理过于粗糙（视频复杂度的决定性维度是语义不是熵）；(3) 消融没有把"3D cube 化"与"纯帧级/纯 patch 级"对比，无法证明 cube 结构而非稀疏本身带来收益；(4) 训练/推理设置不明：稀疏模式是训练感知的还是推理时强行施加？(5) "不可逆"批评是文字层面——cube 级选择依然是硬丢弃，没有恢复通道；(6) 未与 Video-X²L、PyramidKV、PureKV 等视频效率方法在 VideoMME 上同台。
- **可延展信号**：AdaSpark 把"不可逆信息损失"问题抬到台面上但没给解法——用"基础稀疏 + 可恢复残差"完成它（见 Idea 4）是对这一 gap 最直接的接力。

### [P161] QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models

- **核心贡献**：首个 VLA 专用 PTQ 框架：选择性量化布局（语言骨干与 DiT 的全部 linear 层整量化、attention 投影保留浮点以维持算子调度）+ attention temperature matching（逐头尺度稳定 logits 并折叠进反量化尺度）+ output head balancing（逐层残差接口校准）；LIBERO 上成功率超过全精度基线，量化部件显存省约 70%。
- **优点**：(1) "首个 VLA PTQ + 首个 DiT action head 量化"是清晰的 novelty claim；(2) 选择性布局（保留 attention 浮点）抓住了 VLA 中 attention logits 对尺度最敏感、而 FFN/投影对量化更稳的先验，设计有理有据；(3) 只用一个小的无标注 calibration buffer、训练无关，部署友好；(4) 用"任务成功率超过全精度"作为卖点，切中机器人部署的实用主义。
- **不足**：(1) "超过全精度基线"在 LIBERO 上需要多 seed + 显著性检验，任务成功率方差大，单次超过极易是噪声；(2) 选择性布局意味着 KV cache 与 attention 权重不量化，显存节省只覆盖线性层——端到端显存与 decode 延迟的真实收益需按全模型口径重报；(3) LIBERO 只有 11 个桌面任务，且视觉分布单一（固定桌面相机），无法支撑"可扩展低比特具身智能"的宏大主张；(4) attention temperature matching 本质上是一种 per-head 尺度补偿，与 LLM PTQ 社区已有的注意力尺度处理（如 SmoothAttention、AWQ 的激活感知）的边界没有拉开；(5) 未在真实机器人上测 latency/power/throughput，"部署"停留在权重层面；(6) DiT action head 量化只报成功率，没报生成轨迹质量指标（mAP/FDE 类）。
- **可延展信号**：VLA 量化的评测（成功率 + 生成质量 + 端上延迟三本账）本身是空白——"VLA 压缩的统一评测协议"是可以做的低风险工作。

## 2. 方向发展态势

### 2.1 技术演进脉络

这个方向 2023→2026 大致走过四代：

1. **通用 LLM 加速范式移植期（2023–2024）**：把文本侧的 KV 驱逐（`H2O (NeurIPS'23)`、`StreamingLLM (ICLR'24)`、`SnapKV`）与注意力剪枝（`ToMe (ICLR'23)` 的 token merge）直接搬到 MLLM。代表是 `FastV (ECCV'24)`（早期层注意力剪枝）与 `Elastic Cache (ECCV'24)`（重要性驱动的 KV merging）。特点：方法来自文本、只做推理期、报 token 数与 FLOPs。
2. **视觉特化爆发期（2024–2025）**：认识到视觉 token 与文本 token 统计特性不同，出现三条线：(a) 编码器端纯视觉压缩（`VisionZip (CVPR'25)` 用视觉注意力定位"意见领袖"token + 聚类合并；`FasterVLM (ICCV'25)`）；(b) LLM 内文本引导剪枝（`SparseVLM (ICML'25)` 的跨模态注意力 + token recycling；`DART (EMNLP'25)` 的重复度感知 pivot 选择；`PDrop (CVPR'25)`、`DivPrune (CVPR'25)`、`HiRED (AAAI'25)` 的分区预算、`VisPruner (ICCV'25)`、`SCOPE (NeurIPS'25)` 的显著性+覆盖率）；(c) 结构化/全局上下文方法（`HoloV (NeurIPS'25)` 的 crop 级预算分配与"随机 > FastV"的关键观察、`GlobalCom2`、`MustDrop`）。同期架构级压缩兴起：`LLaVA-Mini (ICLR'25)` 预融合 + 1 视觉 token、`TokenPacker (arXiv'24)` 的 region-to-point 注入、`VoCo-LLaMA (CVPR'25)` 用 LLM 自己压缩（attention distillation，576x 压缩）、`M3/Matryoshka Multimodal (ICLR'25)` 的嵌套粒度表征。
3. **批判与评测危机期（2025）**：`Token Pruning in MLLMs: Are We Solving the Right Problem? (ACL'25)` 证明随机剪枝在多数基准上 > FastV/SparseVLM，指出注意力位置偏置、语言信息误用、FLOPs 冒充加速；`VisionDrop (arXiv'25)` 揭示文本引导剪枝的跨模态错位；`VTC-Bench (arXiv'25)` 证明下采样优于高级方法并给出困难样本过滤协议；`EffiVLM-Bench` 建立统一评测。同时视频方向向 KV 压缩/流式收敛：`VL-Cache`、`PyramidKV (ICLR'25)`（层自适应信息漏斗）、`PureKV`、`Video-X²L`、`MuKV`（本清单）。
4. **机制化/系统化/训练化转型期（2025–2026）**：三股新势力——(a) training-aware：`DUET-VLM`（本清单）、`EPIC (NeurIPS'25)` 用渐进一致性蒸馏解决压缩训练的特征扰动；(b) 机制级：可微预算（M3 之后出现 MatryoshkaVQVAE 等）、可逆/可恢复压缩（AdaSpark/HoloV 的 refetching 雏形）；(c) 系统级：FP8/量化与压缩联合（`MASQuant`、`MBQ (CVPR'25)`、`Q-VLM (CVPR'25)`），推测解码（`ViSpec (NeurIPS'25)` 3.22x、`SpecVLM`、`MSD` 用视觉适配器解决草稿模型被冗余视觉 token 淹没的问题）。

每次范式转移解决一个问题又带来新问题：移植期解决了"有没有"，但忽视视觉特性；视觉特化期解决了"准不准"，但评测失真（随机>精心设计）与红海化；批判期解决了"看得清"，但只破不立；机制化/系统化期才刚开始解决"怎么真正省算力/省显存"——目前最大的坑是**没有人在真实硬件上把 token 压缩、FP8、KV 压缩与训练侧效率联合起来做诚实测量**。

### 2.2 关键外部文献（表格）

| 文献 | 年份/会议 | 一句话贡献 | 与本方向关系 |
|---|---|---|---|
| ToMe | ICLR'23 | ViT 内 token 匹配合并 | 剪枝谱系源头之一 |
| H2O | NeurIPS'23 | 重击者注意力驱逐 KV | KV 压缩谱系源头 |
| SmoothQuant | ICML'23 | 激活平滑迁移权重，实现 W8A8 | 量化谱系源头 |
| AWQ / GPTQ | MLSys'24 / ICLR'23 | 激活感知权重量化 / 二阶重建 | 量化基线 |
| FastV | ECCV'24 | 早期层注意力剪枝 | 训练无关剪枝开山 |
| Elastic Cache | ECCV'24 | KV merging 替代驱逐，指令/生成分阶段 | 多模态 KV 压缩 |
| VL-Cache | 2024 | 视频 LLM 的 KV 时空稀疏 | 视频 KV 谱系 |
| StreamingLLM | ICLR'24 | attention sink 保留首尾 token | KV 压缩基线 |
| Dynamic-LLaVA | ICLR'25 | 图像预测器 + 稀疏化 SFT，三阶段压缩 | 训练感知剪枝 |
| VisionZip | CVPR'25 | 编码器端纯视觉显著性 + 聚类 | 训练无关剪枝 SOTA 代表 |
| SparseVLM | ICML'25 | 跨模态注意力 + 自适应稀疏率 + token recycling | 文本引导剪枝代表 |
| PruMerge/LLaVA-PruMerge | ICCV'25 | CLS 稀疏注意力剪枝 + 聚类合并 | 剪枝+合并 |
| HiRED | AAAI'25 | 分区预算分配保空间覆盖 | 空间感知剪枝 |
| DART | EMNLP'25 | pivot 去重选择，兼容高效注意力 | 剪枝 SOTA 代表 |
| DivPrune / PDrop / VisPruner / SCOPE | CVPR/ICCV/NeurIPS'25 | 显著性+覆盖率/渐进金字塔/覆盖+显著 | 剪枝密集竞争 |
| HoloV | NeurIPS'25 | crop 级预算 + 上下文 refetching，验证"随机>FastV" | 批判性+可恢复雏形 |
| CDPruner / GlobalCom² | NeurIPS'25 | 压缩感知 / 缩略图协调裁剪预算 | 剪枝后继 |
| VisionDrop / Rethinking Visual Token Reduction | arXiv'25 | 文本引导剪枝存在因果/语义/空间错位，改纯视觉剪枝 | 关键批判工作 |
| Token Pruning in MLLMs: Are We Solving the Right Problem? | ACL'25 | 随机>FastV、位置偏置、评测不可靠的系统性批判 | 评测危机源头 |
| VTC-Bench | arXiv'25 | 下采样当过滤器，去噪基准做困难子集 | 评测修正框架 |
| EffiVLM-Bench | 2025 | 训练无关加速统一评测（性能/泛化/忠诚/效率） | 评测基础设施 |
| LLaVA-Mini | ICLR'25 | 模态预融合 + 1 视觉 token 全任务 | 架构级压缩 |
| TokenPacker | arXiv'24 | region-to-point 注入压缩 75-89% token | 投影器压缩 |
| VoCo-LLaMA | CVPR'25 | LLM 自己压缩（attention distillation），576x | 架构级压缩 |
| M3 Matryoshka Multimodal | ICLR'25 | 嵌套粒度表征，9 token ≈ 576 token 精度 | 粒度控制/预算 |
| EPIC | NeurIPS'25 | 渐进一致性蒸馏降低压缩训练扰动 | 训练感知压缩 |
| ViSpec | NeurIPS'25 | 视觉适配器压缩 + 全局特征注入，推测解码 3.22x | 推测解码 x MLLM |
| SpecVLM / MSD | arXiv'25 | 弹性视觉压缩器 + 在线 logit 蒸馏 / 解耦文本视觉草稿 | 推测解码 x MLLM |
| H2O/SnapKV/PyramidKV 系 | NeurIPS'23–ICLR'25 | 累积注意力/窗口观察/层间信息漏斗 | KV 压缩主谱系 |
| PureKV | arXiv'25 | 时空稀疏预清理 + V 向量加权重要性 | 视频 KV 压缩 |
| Video-X²L | arXiv'25 | 双层 KV + 选择性重载（低压缩细粒度/高压缩紧凑） | 视频 KV 压缩 |
| MBQ | CVPR'25 | 模态平衡量化，W3A16/W4A8 校准按模态敏感度 | MLLM 量化 SOTA |
| Q-VLM | CVPR'25 | 跨层依赖 + 熵分块搜索量化策略 | MLLM 量化 SOTA |
| LLMC | 2025 | LLM/VLM 量化统一工具包与公平基准 | 量化基础设施 |
| QuaRot / SpinQuant | NeurIPS'24/ICML'25 | 旋转消除激活异常值 | 量化谱系 |
| SmolVLM | 2024 | 小 MLLM 容量配比设计（视觉/语言失衡致崩） | 小模型配比 |
| TinyLLaVA-Video(-R1) | 2025 | 3.6B 视频模型 + 受限算力复现 RL | 小模型/受限算力 |
| ScalingRL | EMNLP'25(F) | RL 动态数据选择，220K→1.5K 样本、13 天→4 小时 | 训练侧效率 |
| SPaRFT | arXiv'25 | 自步 RL 微调 + MAB 数据分配，100x 数据缩减 | 训练侧效率 |
| Curriculum Learning for LLM Pretraining | EACL'26 | 课程学习减少 18-45% 训练步数 | 训练侧效率 |
| M3DocRAG / M3DocVQA | ICCV'25 | 多页多文档开放域文档 VQA 基准 | DocPrune 的评测场 |
| M3DocRAG-谱系（ColPali） | 2024 | 多模态页面检索器 | 文档效率生态 |

（以上全部经联网检索核实的真实文献；个别 arXiv 编号为摘要页所见，细节以原文为准。）

### 2.3 当前 SOTA 格局与主流评测

- **主流 backbone**：实验大多在 LLaVA-1.5/1.6-7B、LLaVA-NeXT-7B、Video-LLaVA-7B、Qwen2-VL/Qwen2.5-VL-7B、InternVL2.5/3-8B、LLaVA-OneVision-7B 上进行。**评测口径分裂**：旧论文用 LLaVA-1.5（576 token/336px，已过时且冗余度高、剪枝好做），新基准用 Qwen2-VL 系（自带动态分辨率与内置压缩，剪枝收益被稀释）——这本身就是不公平对比的来源（EffiVLM-Bench 已指出）。
- **性能天花板**：Qwen2.5-VL-7B 水平约为 MME ~2400、MMBench ~83、TextVQA ~84、DocVQA ~94、ChartQA ~83、GQA ~77、POPE ~87（近似值，[未验证]）；VideoMME（无字幕）7B 级 ~63–70。token 剪枝保留率 SOTA 在 LLaVA-1.5 上"只留 64/576 token 仍 95%+ 相对精度"（HoloV/SCOPE/DART 档），但在 Qwen2-VL 上同比例掉点显著放大。
- **评测基准**：图像 GQA/TextVQA/DocVQA/ChartQA/MME/MMBench/POPE/MM-Vet/MMStar；视频 VideoMME/MLVU/LongVideoBench/VNBench/MVBench；文档 M3DocRAG/MP-DocVQA；长上下文 LongBench。**协议乱象**：同方法在不同论文报不同压缩比口径（25% vs 75% 的说法常被混用）；大部分不报盲基线、不报真实延迟。
- **量化格局**：MLLM 量化 SOTA 是 W4A8（MBQ 报 +4.4% 提升、Q-VLM 报 2.78x 显存压缩）；W3A16 是难度上限；FP8（E4M3）在 LLM 上近乎无损，但 MLLM 的 FP8 因激活异常值 + 模态差异尚无系统方案（MASQuant 正是切入点）。L40 支持原生 FP8 GEMM（约 2x FP16 吞吐、减半带宽），但无 Transformer Engine，需手动逐层尺度——软件栈是洼地。
- **训练侧格局**：LLM/RL 侧数据选择开始爆发（ScalingRL、SPaRFT、课程学习），**MLLM 的 SFT 数据调度基本空白**——这是本清单里最冷但最刚需的子方向。

### 2.4 方向级根本缺陷（Open Gaps）

1. **评测协议失效（最根本）**：随机剪枝 > FastV（ACL'25）、下采样 > 高级方法（VTC-Bench）、高压缩比下语言先验兜底、FLOPs 冒充加速、基准口径分裂。为什么没解决：修评测"不赚钱"，且每个人都用自己的口径报数才能显得更好；解决需要社区公认的"信息保持率 + 盲基线 + 真实延迟"三件套协议，需要有人先立标准。
2. **"训练无关 vs 训练感知"的鸿沟**：训练无关在 90%+ 压缩比必崩，训练感知（DUET/LLaVA-Mini/EPIC）需全量重训（7B 级数百到上千 GPU·h），中间地带——"几分钟/几百样本的轻量适配"——无人系统研究。这是 8×L40 受限算力下性价比最高的切入点。
3. **信息不可逆**：drop 类方法丢弃即永失；AdaSpark/HoloV 只是把"不可逆"当话术批判，没人给出"可恢复压缩"的形式化方案（rate-distortion 理论、残差编码、查询触发再膨胀）。为什么重要：可逆性是把"压缩"从黑盒调参变成工程可控的关键。
4. **动态预算缺机制**：M3 证明"每实例 oracle 最优粒度"与固定粒度之间存在巨大 gap，但连续/可微/延迟感知的预算分配机制不存在——现有"自适应"多是启发式路由（熵、注意力）。解决需要把"token 预算"当作可优化变量写进损失。
5. **真实硬件鸿沟**：FLOPs、墙钟延迟、峰值显存、tokens/s 四本账在 MLLM 效率论文里几乎从不对齐；decode 是带宽瓶颈（L40 864GB/s）而 prefill 是算力瓶颈，剪枝与 KV 压缩对两者的作用机制不同，却总被混为一谈；FP8 与压缩的联合收益无人测量。
6. **多模态 KV 压缩的任务依赖性**：视觉 KV 与文本 KV 统计特性不同（位置偏置、空间冗余、任务依赖的"哪些帧重要"），现有多数方法仍是文本方法移植；流式/长视频场景的评测与盲基线严重缺失。
7. **小模型能力崩坏机理不清**：Downscaling Intelligence 只观察到"LLM 缩小伤感知更狠"，但这是欠对齐 artifact 还是根本瓶颈无解；视觉编码器/投影器/LLM 的容量配比没有理论。为什么重要：小模型是受限算力叙事的出口。
8. **训练侧效率几乎空白**：梯度冗余、数据覆盖、课程调度在 LLM 文本侧已验证有效，MLLM SFT 无人做；且 8×L40 这类小集群恰恰最需要"少数据训好"。

### 2.5 红海警告（不建议投入的子问题）

**训练无关的视觉 token 剪枝 = 超级红海，且评测已被证伪。**

- 2024–2026 已有 30+ 篇同类工作（FastV、SparseVLM、VisionZip、PruMerge、HiRED、DART、DivPrune、PDrop、VisPruner、SCOPE、HoloV、CDPruner、GlobalCom²、FasterVLM、MustDrop、Script、ResPrune、CRISP、VisionDrop…），**方法差异高度同质化**：换打分函数（注意力→相似度→熵→V 范数→diversity）、换选择粒度（token→pivot→crop→cube）、换来源（文本引导→纯视觉→双流）。再加一篇"第 31 个打分函数"在 CVPR 的接收概率趋近于零。
- **评测诊断（严肃版）**：
  1. **随机基线破产**：ACL'25 证明注意力排序在多数基准不如随机保留（位置偏置 + 注意力分散），意味着大量"提升"是统计噪声级。
  2. **下采样地板**：VTC-Bench 证明简单图像下采样在多数基准胜过硬剪枝——基准里大量样本只需粗粒度线索即可作答，剪枝方法在"简单样本"上刷分。
  3. **语言先验兜底**：POPE/GQA/ChartQA 类问题存在严重语言先验（"是否有……是/否"、图表常识、OCR 可达文本）。**判据：`IR = (Acc_comp − Acc_blind) / (Acc_full − Acc_blind)`，IR 低即精度靠语言先验而非视觉信息**。绝大多数论文不报盲基线，高压缩比下"保留 95%"可能是"盲模型本来就答对 90%"。
  4. **FLOPs 冒充加速**：剪枝减的是 self-attention 的二次项；在 batch=1、decode 阶段，瓶颈是 KV cache 的带宽而非 FLOPs——减 90% FLOPs 的真实延迟收益可能只有 20-40%。同时任意 token 数（58/192/320）破坏 tensor-core 对齐，进一步吃掉收益。
  5. **过时模型刷分**：LLaVA-1.5 上 576 token 高度冗余、剪枝空间大；Qwen2.5-VL 已内置动态分辨率与压缩，同比例剪枝收益大减——"在旧模型上 99% retention"不可迁移。
- **结论**：不要再做"训练无关剪枝 + LLaVA-1.5 + FLOPs"组合。三条生路：(a) 转向评测/机制/系统（Idea 1/3/4/5）；(b) 换结构化场景（文档 DocPrune、驾驶 Prune2Drive、长视频流式——但必须配盲基线与真实延迟）；(c) 进入 training-aware 与训练侧效率（Idea 2）。**KV cache 压缩、多模态量化、小模型机理、训练侧效率、机制级预算/可逆压缩仍是半蓝海**。

## 3. 六个可扩展 Idea

### Idea 1：BlindFold —— 语言先验去污协议 + 信息保持率（IR）指标（低风险/评测立标准）

1. **标题**：BlindFold: Decontaminating Visual Token Compression Evaluation with a Language-Prior-Aware Protocol
2. **一句话 Pitch**：给 MLLM 压缩评测立一套"盲基线 + 信息保持率（IR）+ 真实延迟"三件套协议，并用它重排现有 10 个剪枝方法，证明红海里一半的"保留率"是语言先验刷出来的。
3. **切入的 Gap**：Gap 1（评测协议失效）+ 2.5 的评测诊断；直接响应 ACL'25 批判与 VTC-Bench，但比 VTC-Bench 更进一步——不只过滤困难样本，而是给出**因果归因**（误差来自感知丢失 vs 推理崩塌 vs 语言先验泄漏）与一个标准化指标。
4. **核心技术方案**：
   - 对每个样本跑三遍：(a) full model；(b) compressed model；(c) blind model（去图/空图/模糊图，保持 text 输入不变）。记正确性 c_full, c_comp, c_blind。
   - 定义 **IR（Information Retention）**：`IR = (Acc_comp − Acc_blind) / (Acc_full − Acc_blind)`。IR=1 表示非语言部分的精度零损失；IR=0 表示压缩模型与"不看图"等价（纯语言先验）；IR<0 表示压缩反而引入噪声。
   - 误差归因：感知损失 P=Pr(c_full=1,c_comp=0,c_blind=0)；先验泄漏 L=Pr(c_full=0,c_comp=1,c_blind=1)；推理崩塌 R=Pr(c_full=1,c_comp=0,c_blind=1)。给出归一化的三元组分布。
   - 附带两个 floor 基线作为协议的一部分强制报告：random-prune 与 downsampling（分辨率匹配使 token 数对齐，照 VTC-Bench 的做法）。
   - 输出：一个可复现的 harness（pip install）+ 重排后的 leaderboard（在 LLaVA-NeXT-7B 与 Qwen2-VL-7B 上，压缩比 50/75/87.5/93.75%，每方法报 IR、真实延迟、峰值显存、prefill/decode 拆分）。
5. **为什么新颖**：审稿人最可能说"这是 VTC-Bench 的增量"。反驳：(a) VTC-Bench 只做困难子集过滤，不区分误差来源，也不提供跨方法可比的标准指标；BlindFold 的 IR 是第一个把"语言先验"显式扣掉的压缩指标，直接改变论文的报数方式（IR 会成为审稿人问"你的 IR 是多少"的新常态）；(b) 附带的是评测学方法论贡献（误差归因框架），不是又一个数据集。
6. **实验方案**：
   - 数据集：GQA / TextVQA / DocVQA / ChartQA / MME / MMBench / POPE / VideoMME（视频用前 32 帧子集），8 个全上——覆盖本任务要求的全部 benchmark。
   - Baselines（≥4）：FastV、VisionZip、SparseVLM、DART、HoloV、downsampling、random、blind。
   - 主表：行=10 方法×4 压缩比；列=Acc、IR、Acc_blind、P/L/R 归因三元组、prefill 延迟、decode 延迟、峰值显存、tokens/s。
   - 消融（4 组）：(a) blind 定义（去图 vs 模糊图 vs 文字描述图）——证明 IR 对盲基线的鲁棒性；(b) 压缩比网格上的 IR 曲线——证明 IR 单调性/可解释性；(c) 模型迁移（LLaVA-NeXT vs Qwen2-VL）——证明协议跨架构稳定；(d) 与 VTC-Bench 困难子集叠加——证明与现有过滤正交。
   - 分析实验：误差归因热力图（按 benchmark × 压缩比）、"IR 冠军与方法在旧基准上的冠军是否一致"的秩相关分析。
   - 指标：Acc、IR、归因三元组、真实延迟（用 vLLM/TensorRT-LLM 前向计时，热身后多次取中位数）。
7. **8×L40 可行性**：纯推理 + 离线统计，无需训练。LLaVA-NeXT-7B 与 Qwen2-VL-7B 各 8 个 benchmark × 4 压缩比 × 10 方法 ≈ 640 个配置，单配置约 0.2–0.5 GPU·h → 总计 ~300 GPU·h，单卡 batch=8 即可。日历时间：8 卡并行 2–3 天。降级：若时间紧，先做图像 6 基准，VideoMME 后补。
8. **风险与退路**：风险是"被当成纯 benchmark 论文"（本方向红线），退路/升级：把盲基线与 IR 沉淀为一个社区套件 + 一份重排榜单，正文主打"10 个方法里 6 个的高压缩保留率靠语言先验"这一可发表的事实性发现；再不行，作为 Strong Rebuttal 材料支撑 Idea 3/4 的评测，转为技术报告级贡献。

### Idea 2：GradCover —— 梯度覆盖度驱动的 MLLM SFT 数据调度与早停（低风险/训练侧冷门）

1. **标题**：GradCover: Gradient-Coverage-Guided Data Scheduling for Cost-Efficient MLLM Instruction Tuning
2. **一句话 Pitch**：用"随机投影梯度覆盖度"判断每个训练样本的边际信息量，在线跳过梯度方向已被覆盖的样本，并据此做模态非对称课程（先视觉后文本）与早停，在 1/3 数据量上达到全量 SFT 精度。
3. **切入的 Gap**：Gap 8（训练侧效率空白）+ 直接继承 P4（GR-Gauge 的梯度冗余信号）与 P9（AFSS 的"跳过已学样本"）的洞见，但把任务特定的 recall/precision 换成原则化的梯度覆盖判据，且首次落到 MLLM SFT。
4. **核心技术方案**：
   - 训练骨架：7B LoRA/QLoRA SFT（或 3B 全参），冻结视觉编码器。
   - 对每个 micro-batch 的每个样本 i，计算低维梯度代理：`ĝ_i = P^T ∇_θ' ℓ(x_i)`，其中 P∈R^{d×k} 为随机投影（k≈256，JL 引理），θ' 只含轻量可训练子集（projector + LoRA 的 top-2 层注意力），backward 开销仅占全模型的一小部分。
   - 维护"梯度覆盖集" C：贪心——样本 i 的 ĝ_i 与 C 中任一方向余弦相似度 > τ 则标记为 covered，本轮跳过；否则加入 C。每 warm-up 后按 epoch 衰减 τ（coverage 逐步收紧）。
   - **模态非对称课程**：把 ĝ_i 按"视觉路径参数 vs 文本路径参数"拆分投影，前 20% 训练步以最大化视觉侧覆盖为目标调度（暴露视觉多样样本），之后切换为联合覆盖——动机来自 P73（视觉能力对容量/训练最敏感）。
   - 早停：监控全局覆盖率 Δ(C) 的边际增量，连续 m 轮低于阈值即停（等价于 GR-Gauge 的冗余度饱和判据）。
   - 防遗忘：像 AFSS 一样保留"未用时长优先"的稀疏复读，防止 long-tail 类别被饿死。
5. **为什么新颖**：审稿人会说"这是数据筛选/课程学习的又一次搬移"。反驳：(a) 与 embedding 聚类类（kCenterGreedy/Herding）本质不同——那些在静态表征上选，GradCover 在**训练中动态的梯度流**上选，能捕捉"模型已经会了"这种动态；(b) 与 SPaRFT/MAB 类（用 RL 调分配）不同——我们不学策略，用解析贪心，开销低一个量级；(c) 模态非对称课程是 MLLM 特有问题（P73/SmolVLM 都证明视觉路径是薄弱环节），文本侧方法没有这个概念；(d) 与 P4 的"梯度冗余→配置"衔接，P4 管 LR/batch，我们管数据——同一信号的两个用途。
6. **实验方案**：
   - 数据集：LLaVA-665K 子集（或直接 LLaVA-Visual-Instruct）+ 自造 50k 文档/图表样本，评估在 GQA/TextVQA/DocVQA/ChartQA/MME/MMBench/POPE + 幻觉集。VideoMME 作为可选项。
   - Baselines（≥4）：全量 SFT、随机 1/3 子采样、embedding 聚类选择（Herding）、SPaRFT 式 MAB、DataFilter 式难度过滤、AFSS 迁移版（按任务正确率分档）。
   - 主表：行=方法；列=8 benchmark 精度、训练 GPU·h、达到目标精度所需 epoch、峰值显存。
   - 消融（4 组）：(a) 去掉模态课程（统一调度）——证明非对称课程的必要性；(b) τ 调度策略（固定 vs 衰减 vs 自适应）——证明覆盖收紧要渐近；(c) 梯度代理的投影维度 k 与采样层——证明开销-效果权衡；(d) 稀疏复读对 long-tail/幻觉的影响——证明防遗忘组件有效。
   - 分析实验：覆盖率曲线 vs 验证精度的对齐（证明"覆盖饱和→该停"因果成立）、被跳过样本的可视化（哪些是重复的"/answer" 式样本）、视觉路径与文本路径梯度范数占比的时间演化（支撑模态课程）。
   - 指标：标准 benchmark 精度 + 训练成本 + 生成多样性（可加 GPT-as-judge 抽查 200 条回答质量，API 成本 ~$10）。
7. **8×L40 可行性**：主力 3B 全参（Qwen2.5-3B + SigLIP，即 TinyLLaVA 骨架）或 7B LoRA。7B LoRA（秩 64）单卡 batch=8 显存 <24GB，8 卡 DP。665K 样本、5 epoch 全量 ≈ 1200 GPU·h；梯度代理开销 +15%。**预算：主实验 ≤ 1000 GPU·h**（含 4 组消融与 baseline 的降采样复现）。降级：先做 3B 全参版把科学结论跑通（~400 GPU·h），7B 只做验证性一表。日历时间：8 卡约 5–6 天。
8. **风险与退路**：最大风险是"梯度覆盖度与下游精度相关性弱"（τ 选择不当）。退路：(a) 若主指标打平，主打"1/3 数据 + 相同精度 + 更低过拟合"并加幻觉/泛化增益，仍是可发表结论；(b) 若动态调度不稳，退化到"静态梯度覆盖预处理"（预扫描一次选子集）——降级为低风险稳定版；(c) 附带产出一个公开的"训练效率排行榜"（每方法报 达到 90% 精度的 GPU·h），本身有社区价值。

### Idea 3：FP8-Align —— Ada 上"真延迟"导向的剪枝 × FP8 协同设计（中风险/系统级）

1. **标题**：FP8-Align: Wall-Clock-Honest Visual Token Compression Co-Designed with FP8 on Ada GPUs
2. **一句话 Pitch**：指出剪枝论文的 FLOPs 口径在 batch=1/decode 阶段失真，并提出"剪枝目标 token 数对齐 FP8 tensor-core tile + FP8 KV cache + 延迟模型驱动预算搜索"的协同设计，在 L40 上给出 prefill/decode 真实延迟表，证明"剪枝 + FP8"组合的净收益远大于各自独立声称。
3. **切入的 Gap**：Gap 5（真实硬件鸿沟）+ 2.5 的"FLOPs 冒充延迟"诊断 + 特别要求 3（利用 L40 FP8，Ada E4M3/E5M2）。与 MASQuant（P37）的模态尺度分析直接衔接：FP8 KV cache 的尺度校准需要模态感知，否则视觉激活异常值毁掉 E4M3 动态范围。
4. **核心技术方案**：
   - 先立延迟模型（L40 实测校准）：prefill 阶段算力受限（T_prefill ∝ FLOPs / FP8 吞吐），decode 阶段带宽受限（T_decode ∝ KV cache 字节 / 864GB/s）。用微基准测出两组线性系数，写进目标函数。
   - **关键洞察 A——tile 对齐**：剪枝到任意 token 数（58/192/320）使 GEMM 的 K 维不整，浪费 tensor-core；FP8 的 2x 收益在未对齐形状上缩水。约束剪枝预算来自硬件可行集 `M ∈ {m: (m+文本数) % 128 == 0 或 256}`，多出的预算用作"可恢复残差 token"（衔接 Idea 4 的残差通道）而不是丢掉。
   - **关键洞察 B——KV 位宽**：剪枝砍的是 prefill 的算力；decode 的带宽瓶颈靠 FP8 KV cache（E4M3）解决，比再剪 10% token 有效得多。视觉 KV 与文本 KV 分通道尺度：视觉通道 per-channel E4M3 scale（MASQuant 的模态敏感性分析），文本通道 per-tensor——这是纯工程做法但几乎没人做过系统评测。
   - 预算搜索：对 {压缩比 r、FP8 开关（per-layer）、KV 位宽 w} 做小规模网格搜索，目标=在精度约束下最小化 (T_prefill + T_decode)，搜索成本一次 ~10 GPU·h。
   - 交付一张"诚实对照表"：同一模型/基准下，每方法报 FLOPs 声称、实际 prefill 加速、实际 decode 加速、峰值显存、tokens/s（batch=1 与 batch=8 两档）——这张表本身就是对红海的方法论贡献。
5. **为什么新颖**：审稿人会说"FP8 是成熟工程、剪枝是成熟算法，这是拼装"。反驳：(a) 我们没有发明新 kernel，我们指出并量化了一个**结构性错配**（FLOPs 口径 vs 带宽口径、任意 token 数 vs tensor-core tile）并给出首个在 Ada/L40 上把两者联合优化的系统，这属于 systems×algorithm 的协同设计（类比 FlashAttention 的 kernel 意识设计）；(b) 首个把"剪枝预算的选择"与"硬件量化参数"放进同一个目标函数的工作；(c) 在 2026 年 L40 保有量巨大的学术集群上，这个"被所有人用但没人认真测"的问题正当其时。
6. **实验方案**：
   - 数据集：GQA/TextVQA/DocVQA/ChartQA/MME/MMBench/POPE（图像 7 项）+ VideoMME 32 帧子集。
   - Baselines（≥4）：FastV、DART、VisionZip、HoloV、Dynamic-LLaVA；量化侧：AWQ W4A16、纯 FP8（vLLM 路径）、MASQuant。
   - 主表（两组）：(a) 精度组：行=方法（纯剪枝 vs 纯量化 vs 联合）；列=Acc、IR（用 Idea 1 的指标！）；(b) 系统组：同一批方法，列=FLOPs、prefill 延迟、decode 延迟、峰值显存、tokens/s（batch=1/8）。
   - 消融（4 组）：(a) tile 对齐 vs 不对齐（同一压缩比两种预算）——证明对齐假说；(b) FP8 KV on/off + 模态感知尺度 vs 统一尺度——证明尺度设计必要；(c) 延迟模型系数校准的迁移（LLaVA vs Qwen2-VL）——证明模型无关；(d) batch 影响（1/8/32）——证明带宽受限区间的存在。
   - 分析实验：瓶颈可视化（不同阶段的算力/带宽利用率）、"FLOPs 声称 vs 实测加速"散点图（把 10 个方法都打上去，让审稿人看到红海方法的系统失真）。
   - 指标：Acc/IR + prefill/decode 延迟（CUDA event 热身后中位数，≥3 次）、峰值显存（torch.cuda.max_memory_allocated）、吞吐 tokens/s。
7. **8×L40 可行性**：纯推理为主 + 一个小的 LoRA SFT 让模型适配 tile-对齐预算（可选）。LLaVA-NeXT-7B / Qwen2-VL-7B 推理，8 卡并行。FP8 实现路径：torch._scaled_mm（sm_89 支持）+ 手写 FP8 KV cache 的 scale 管理（LLM 社区已有 open-source 可借鉴，如 vLLM 的 fp8 kv 逻辑改造）。预算：主实验 ≤ 600 GPU·h（含消融），日历 4–5 天。降级：若 FP8 KV 工程受阻，先只做"W8A8 GEMM + tile 对齐预算"版，KV 部分用模拟量化（fake-quant）报理论收益并标注。
8. **风险与退路**：最大风险是 FP8 工程量（Ada 无 TE，per-layer scale 要手写）与 kernel 兼容（稀疏剪枝破坏 FlashAttention 路径）。退路：(a) 若联合训练微调不顺，退化为纯系统论文——"10 个剪枝方法在 L40 上的真实延迟重测"加上 tile 对齐技巧，本身就是一篇可中的系统/评测论文；(b) 若 FP8 GEMM 收益在 L40 上实测低于预期（带宽瓶颈提前），就把叙事转向"KV 位宽 + 模态尺度"单点贡献，仍然成立；(c) 可与 Idea 1 的盲基线协议打包成一篇"评测 + 系统"双贡献论文。

### Idea 4：ReVTok —— 可逆视觉 token 压缩（学习型残差码本 + 查询触发再膨胀）（高风险/机制级）

1. **标题**：ReVTok: Reversible Visual Token Compression with Learned Residual Codebooks and Query-Triggered Re-Inflation
2. **一句话 Pitch**：把视觉 token 压缩建模成"基础码率 + 细化码率"的两率编码：激进压缩后的少量 token 之外，用学习到的残差码本保存"哪里补、补什么"，由 query 驱动的路由器在需要细粒度时选择性再膨胀——压缩从此可逆、可预算、信息丢失有界。
3. **切入的 Gap**：Gap 3（信息不可逆）与 Gap 4（动态预算缺机制）；直接接棒 AdaSpark（P154）的"不可逆批判"与 HoloV/Blink 的 refetching 雏形，但把它们启发式的"取回已剪 token"升级为**学习到的、率失真意义下的残差补码**。
4. **核心技术方案**：
   - 结构：`z = Enc(V) ∈ R^{M×d}`（M≈16–64，用轻量 query-based resampler，可初始化自 TokenPacker 的 region-to-point 思路）；重建头 `D(z)`（2 层 transformer/MLP）在冻结视觉编码器特征上训练，`L_rec = ||D(z) − V||_F² + λ·perceptual(V, V̂)`。
   - 残差层：残差图 `E = V − D(z)`。对 E 做**空间分块 top-k 稀疏编码**：每块保留范数最大的 k 个残差向量，经 VQ 码本量化存"块 id + 码本索引"（一个"补丁索引"，体积 ≈ 每块 2–4 个码字 × log2|C| 位）。这给出"按预算可裁剪的细化码"。
   - **查询触发再膨胀**：路由器 `π_φ(q, z, h)`（MLP，输入 query embedding + 压缩 token 的平均隐状态）输出每空间块的补码预算 `b_j ∈ {0,1,2,...}`（Gumbel-softmax 可微），把该块的补码向量插回对应位置参与后续层注意力。训练目标：
     `L = L_CE(y | V̂_inflated(q), q) + λ_1·R_rate + λ_2·L_reg(π)`，R_rate 是补码比特数（可微的软计数）。推理时给定总补码预算 B，路由器输出受 `Σ b_j ≤ B` 约束（Lagrange 或 top-k over blocks）。
   - 信息论视角（论文的理论章）：给出"压缩-再膨胀"的 rate-distortion 解释：基础码率对应粗粒度信息、细化码率对应高频/局部信息，实验上报告每任务的率失真曲线，并论证"任务所需的细化比特"存在可学习的结构。
5. **为什么新颖**：审稿人会说"HoloV 已经做 refetching、AdaSpark 已做自适应"。反驳：(a) HoloV 的 refetch 是启发式（不确定度触发、取回原始被剪 token），没有学习、没有位预算、没有残差编码——ReVTok 把"取回"变成"码本补码"，是**压缩理论的范式**而非缓存技巧；(b) AdaSpark 是"少算"而非"可恢复"，ReVTok 显式提供恢复通道与预算旋钮；(c) 与 VoCo-LLaMA（一次性蒸馏压缩）不同，我们支持任意粒度的渐进再膨胀，属于"可伸缩编码"在多模态的首次落地；(d) "任务所需细化比特"的分析是新的诊断量（衔接 Idea 6 的 MSVT）。
6. **实验方案**：
   - 数据集：GQA/TextVQA/DocVQA/ChartQA/MME/MMBench/POPE + VideoMME 32 帧；其中 DocVQA/ChartQA 天然是"低粒度必崩、需要细化补码"的场景，作为机制验证主战场。
   - Baselines（≥4）：VisionZip、DART、HoloV、AdaSpark（若开源）或 SparseVLM、VoCo-LLaMA、LLaVA-Mini 压缩档、动态分辨率（Qwen2-VL 原生）。
   - 主表：行=方法；列=各基准 Acc、IR（Idea 1 指标）、压缩后 token 数、补码比特数、prefill/decode 延迟、峰值显存。特别比较"同 token 预算下 ReVTok vs 纯剪枝"的 IR 差异（证明补码通道带来真实视觉信息增益）。
   - 消融（4 组）：(a) 残差码本 vs 直接取回原始被剪 token（证明学习补码 > 缓存取回）；(b) 路由器：query 条件 vs 无 query 全局补码（证明查询触发必要）；(c) 补码预算 B 的缩放曲线（B=0/4/16/64 token/图）——率失真曲线；(d) VQ 码本大小与 top-k 块大小。
   - 分析实验：可视化"再膨胀区域"与答案证据区域的重叠率（在 DocVQA 上用人眼/OCR 对齐）、每任务"细化比特利用率"、失败案例分析（哪些 query 补码也救不回来）。
   - 指标：标准精度 + IR + 延迟三件套；DocVQA 可加 ANLS；补码质量加 100 例 GPT-as-judge（API ~$5）。
7. **8×L40 可行性**：LLaVA-NeXT-7B 为主。Encoder/Decoder/路由器约 200–400M 可训练参数（残差重建部分），用冻结视觉编码器 + 冻结 LLM、只训压缩-残差-路由器（纯视觉侧预训练），再对 LLM 做一次轻量 LoRA（让 LLM 适应补码位置编码）。显存：残差重建训练 batch 16 < 24GB/卡。预算：预训练 300 + SFT 300 + 评测 200 ≈ **800 GPU·h**。降级：若端到端难收敛，退为"两阶段"（残差重建自监督训好 + 路由器用 1k 样本蒸馏出查询条件），只损失端到端最优性。
8. **风险与退路**：最大风险是"残差补码在 LLM 语义空间收益不显著"（重建好 ≠ 问答好）。退路：(a) 若补码收益小，论文退化为"可逆压缩 + 率失真曲线"的机制研究，主打信息论刻画（Gap 3 的"压缩率-任务-信息论"理论贡献），转投 ICLR/NeurIPS 理论向；(b) 若路由器训练不稳，固定预算 + 均匀补码也足以支撑"可逆性"主张；(c) 与 Idea 6 的 MSVT 联动，补码收益正是"该实例需要多少视觉信息"的下界估计器。

### Idea 5：BudgetNet —— 可微连续 token 预算分配（延迟感知的资源分配头）（高风险/机制级）

1. **标题**：BudgetNet: Differentiable Continuous Token-Budget Allocation with a Latency-Aware Objective for MLLMs
2. **一句话 Pitch**：把"每层每个空间区域分多少个视觉 token"变成一个可微的、以真实延迟为惩罚项的资源分配问题：一个 amortized 策略头读入 (image, query, 任意预算 b)，输出连续分配，训练后用户只需报一个预算/延迟目标即可得到相应模型行为。
3. **切入的 Gap**：Gap 4（动态预算缺机制）+ M3 论文揭示的"oracle 粒度 vs 固定粒度"巨大 gap + 特别要求 2（跳出打分函数，做可微资源分配）。
4. **核心技术方案**：
   - 输入输出：`π_φ(q, z, b) → α ∈ Δ`（每个候选区域/层得到连续预算权重）；给定预算 b（token 总数或延迟目标），用 `soft-top-k`（Gumbel-softmax over 区域 × 层）采样分配，得到稀疏 mask，作用在 LLM 早期层（第 2–8 层间插入 mask，参考 FastV 的剪枝位置但可微）。
   - 目标：`L = L_CE(y|M(α)⊙V, q) + λ_lat·(b̂ − b)_+ + λ_ent·H(α)`，其中 `b̂ = Σ_l Σ_j α_{l,j}` 是可微的软 token 数；延迟惩罚用一个**校准过的延迟代理**（Idea 3 的线性模型：T = c1·Σ tokens + c2·KV bytes），保证梯度指向"真快"而非"FLOPs 少"。
   - 关键设计：预算 b 在训练时从分布中采样（β 分布），使策略学会"任意预算下都给出合理分配"——这是与 M3（离散菜单）的本质区别；查询条件来自 query token 的最后一层隐藏态（一次额外轻量 forward 或缓存）。
   - 机制分析：报告"每实例 oracle 预算 vs BudgetNet 分配"的差距（oracle 用 M3 式多尺度扫描近似），证明学习到的分配在预算-精度 AUC 上逼近 oracle。
5. **为什么新颖**：审稿人会说"M3 已做粒度控制、Dynamic-LLaVA 已做预测器"。反驳：(a) M3 是离散嵌套菜单、无 query 条件、无延迟损失——BudgetNet 是连续、query 条件、延迟感知的，解决的是"预算作为 API"而非"选哪档"；(b) Dynamic-LLaVA 的图像预测器是每层固定二值决策、无任意预算接口——我们是 amortized 策略 + 预算条件；(c) 把"分配"写成约束优化（budget-constrained resource allocation）是多模态效率里没人做过的问题形式化；(d) 与 Idea 3 的硬件可行集结合（预算被限制在 tile 对齐集内）提供系统完整性。
6. **实验方案**：
   - 数据集：GQA/TextVQA/DocVQA/ChartQA/MME/MMBench/POPE；VideoMME 作为泛化验证。
   - Baselines（≥4）：M3（多档）、Dynamic-LLaVA、FastV、VisionZip、DART、Qwen2-VL 动态分辨率（作为上界参照）。
   - 主表：每方法在 4 个预算档（对应 25/50/75/90% token）下的 Acc/IR + 真实延迟，末尾给"预算-精度 AUC"总分（把单点对比升级为曲线对比）。
   - 消融（4 组）：(a) 预算条件 vs 固定预算训练（证明任意预算泛化）；(b) query 条件 on/off；(c) 延迟代理 vs FLOPs 惩罚（证明"以真延迟为目标"的必要性——预期出现"FLOPs 惩罚选出的配置实测更慢"的反例）；(d) 分配粒度：层×区域 vs 仅层 vs 仅区域。
   - 分析实验：每实例预算与问题类型（计数/OCR/空间推理）的分布、oracle gap 分析（学习分配 vs oracle 的 AUC 差）、分配可视化（哪些区域拿到高预算）。
   - 指标：Acc/IR/延迟三件套 + 预算-精度 AUC；可加 100 例 GPT-as-judge 评估生成质量。
7. **8×L40 可行性**：LLaVA-NeXT-7B LoRA SFT（秩 64），策略头 ~50M。训练：LLaVA-665K 子集 100k 样本、3 epoch，单卡 batch=8，8 卡 DP ≈ **900 GPU·h**；评测与消融 ~300 GPU·h。合计 ≤ 1500 GPU·h，日历 7–9 天。降级：先只在图像 benchmark 验证机制，VideoMME 后补；若 soft-top-k 梯度不稳，用 entropy-regularized straight-through estimator 或退化为 top-k+stop-grad（丢梯度但可加辅助监督）。
8. **风险与退路**：最大风险是"可微稀疏训练在 LLM 上不稳定/收益被优化器噪声淹没"。退路：(a) 若端到端失败，降级为"离线学习分配策略 + 推理时固定"（模仿学习范式），仍是机制级贡献；(b) 论文的机制分析（oracle gap、延迟代理 vs FLOPs）可独立成章——即便方法不 SOTA，这两项分析也撑得起一篇分析型论文；(c) 与 Idea 3 合并（预算被限制在 FP8-tile 集）可互相救场。

### Idea 6：MSVT —— 最小充分视觉 token：新任务、新指标、新数据集（新问题定义/中风险）

1. **标题**：MSVT: Minimum Sufficient Visual Tokens — A New Task, Metric, and Dataset for Granularity-On-Demand MLLMs
2. **一句话 Pitch**：定义一个新任务"预测每个 (图像, 问题) 的最小充分视觉 token 数 m*"，配套 SufficientVision 数据集与"预算-精度 AUC"指标，并给一个轻量粒度预测器作为首条基线——把"自适应粒度"从口号变成可评测、可下界证明的科学问题。
3. **切入的 Gap**：Gap 4/Gap 7 的评测缺口 + M3 只做分析没做任务定义的空白 + 特别要求（新问题定义）。为什么 2026：动态分辨率（Qwen2-VL 原生）与 M3 的粒度分析已让"按实例定粒度"技术上可行，但社区没有统一评测它的尺子。
4. **核心技术方案**：
   - 任务定义：给定 (I, q)，输出 m* = min{ m : Acc(模型 at m token) ≥ Acc(full) − δ }，其中 Acc 在该样本上是 0/1（可加 3 次采样平滑）。m* 是"该实例的视觉信息需求"的估计。
   - **指标 BAP-AUC**（Budget-Accuracy Pareto AUC）：对连续预算 b∈[m_min, m_max]，绘制 Acc(b) 曲线，AUC 归一化——取代"报单个压缩比"的评测方式，且每个方法必须给出完整曲线。
   - 数据集 SufficientVision：从 GQA/TextVQA/DocVQA/ChartQA/MME/MMBench/POPE/VideoMME 中取样，用 M3 式多尺度（9/36/144/576）前向扫描生成 m* 标签；用下采样过滤器筛掉"9 token 也能答对"的平凡样本，保留易/中/难三档（难=全模型答对但 ≤36 token 必错——这是压缩方法的真正竞技场）。规模：~40k 样本（含标签生成的自洽性校验）。
   - 基线方法：粒度预测器 `g_ψ(I,q)`（视觉 token 平均池化 + query 嵌入 → 回归 m*，MLP），推理时把 m* 映射到硬件可行集（衔接 Idea 3 的 tile 对齐）；加上 M3 多档、固定预算、oracle 上界做对照。
5. **为什么新颖**：审稿人会说"这是 VTC-Bench 又一个变体/数据集工作"。反驳：(a) VTC-Bench 过滤困难样本用于**重测现有方法**，MSVT 定义的是**新任务与可计算下界**（m* 是信息需求度量，BAP-AUC 是曲线的评测语言），方向完全不同；(b) M3 只报告"COCO 类只需要 9 token"这类统计观察，MSVT 把它变成逐实例可预测、可优化的量；(c) 附带"预测 m*"本身是与 downstream accuracy 可验证的新能力（比预测难度分数更本质）。
6. **实验方案**：
   - 数据集：SufficientVision（40k，含标签）+ 保留官方全量基准做最终评测。
   - Baselines（≥4）：固定预算（576/144/36）、M3 多档选择、oracle 上界、m* 预测器、以及把 FastV/VisionZip 装进"曲线评测"后的对比（证明现有方法在 BAP-AUC 下排序发生变化）。
   - 主表：行=方法；列=BAP-AUC、平均 token、Acc、IR、真实延迟；另给"预测 m* vs oracle m*"的 MAE 与秩相关。
   - 消融（4 组）：(a) m* 标签的 δ 与采样平滑——证明标签稳定；(b) 下采样过滤器的困难档划分——证明与 VTC-Bench 的正交性；(c) 预测器输入（query 有无）——证明任务确实是 query 依赖的；(d) 跨模型迁移（LLaVA 训练、Qwen2-VL 上测）——证明 m* 是任务属性而非模型属性（这是论文最强的理论主张之一）。
   - 分析实验：m* 的分布 vs 任务类型（DocVQA 显著高于 POPE，呼应 M3 结论）、"细粒度需求"的图像属性回归（文字密度/目标数/遮挡），支持"信息需求可预测"的机制论证。
   - 指标：BAP-AUC、m* MAE、Acc/IR/延迟；DocVQA 加 ANLS。
7. **8×L40 可行性**：标签生成是推理为主（M3 式多尺度前向，~40k×4 尺度×2 模型 ≈ 320k 前向，8 卡约 150 GPU·h）；预测器是 MLP 微训练（<10 GPU·h）。总预算 **≤ 400 GPU·h**，日历 3–4 天。此 Idea 可以与 Idea 1 共享评测管线（同 harness），并行成本进一步摊薄。降级：数据集规模缩到 20k 也足够跑通全部实验。
8. **风险与退路**：最大风险是"m* 标签被模型能力污染"（不同模型测出不同 m*，跨模型迁移主张被攻击）。退路：(a) 若迁移主张不成立，就把 m* 定义为"给定模型的属性"（模型条件化），结论改成"不同模型的信息需求分布差异本身是重要发现"；(b) 若 BAP-AUC 指标被质疑，退化为"补充协议"，主张降级为"评测 + 数据集"贡献（仍有 TMLR/数据集 track 价值）；(c) 若预测器效果差，论文核心仍是"任务定义 + 数据集 + 指标"，预测器只是基线——这符合新问题定义型论文的惯例。

## 4. 优先级建议

| Idea | 新颖度 | 工作量 | 风险 | 8×L40 契合度 | 推荐投稿目标 | 建议启动顺序 |
|---|---|---|---|---|---|---|
| Idea 1 BlindFold（评测协议） | 中 | 低 | 低 | 高（纯推理） | CVPR/ICCV 或 TMLR | 1（1–2 周，与 2/3 并行，产出评测 harness 反哺其他 idea） |
| Idea 2 GradCover（训练侧） | 中高 | 中 | 低 | 极高（受限算力叙事） | CVPR/ICLR | 2（主力低风险项目） |
| Idea 3 FP8-Align（系统级） | 中高 | 中 | 中 | 极高（L40 原生 FP8 唯一可用平台） | CVPR/NeurIPS | 3（依赖 Idea 1 的 IR 指标） |
| Idea 6 MSVT（新任务+数据集） | 高 | 中 | 中 | 高（推理为主） | CVPR/ICCV（数据集轨） | 4（可并入 Idea 1 的评测管线） |
| Idea 5 BudgetNet（可微预算） | 高 | 高 | 高 | 中 | NeurIPS/ICLR | 5（高风险高回报，作为第二篇） |
| Idea 4 ReVTok（可逆压缩） | 高 | 高 | 高 | 中 | NeurIPS/CVPR（冲 oral） | 5（与 Idea 5 选一主攻，另一个作备选） |

组合策略：以 **Idea 1 → 2 → 3** 作为第一波"3 个月可交付"组合（低风险、互相强化：1 供指标、2 供训练管线、3 供系统测量），目标 CVPR'27 两篇；**Idea 6** 作为并行数据集工作；**Idea 4/5** 择一作为第二年高风险冲刺。所有 idea 共享三条铁律：报 IR（盲基线）、报真实延迟与峰值显存、报预算-精度曲线而非单点。