# M2｜长视频与流式视频理解

## 0. 方向速览

本方向解决两个纠缠的核心矛盾：**token 爆炸**（时长×帧率×patch 数超出现有 LLM 上下文与 8×L40 显存）与**时序理解薄弱**（模型把视频当"一堆空间图"，缺乏对顺序、速度、计数、纯时序模式的真理解）。2024–2026 演进呈现清晰的范式转移：watch-then-answer（离线全量喂帧）→ retrieve-then-answer（关键帧/检索）→ memory/streaming（在线流式 + KV 记忆）→ agentic/RL（多智能体编排与强化训练）。当前卡点：① 关键帧/agentic 路线在同一批 benchmark（VideoMME/LongVideoBench/MLVU/LVBench）上增益收敛到 5% 以内且互相雷同；② 评测本身有漏洞（单帧可解、MCQ 膨胀、字幕泄漏）；③ 流式场景的"何时回答"与纯时序感知几乎无人给出形式化方案；④ token 压缩普遍以空间重建为目标，系统性牺牲时序保真度。本文给出 19 篇逐篇批判、23+ 条外部脉络、6 个梯度化 Idea，全部按 8×L40 核算。

## 1. 论文逐篇评析

### [P2] MovieRecapsQA: A Multimodal Open-Ended Video Question-Answering Benchmark
- **核心贡献**：第一个"无参考"开放问答 VideoQA benchmark——从 60 个电影 recap 视频旁白转写中抽取 8.2K 问题与答案必需"facts"，据此构造可脱离人工/固定答案的参考无关评测指标；每题标注所需模态（视觉/对话/两者），并提供 4 种输入条件（全片/recap/对齐电影片段/对齐 recap 片段）。
- **优点**：开放问答评测是实打实的前进（MCQ 已被证明显著虚高，见 VideoEval-Pro）；facts 机制使 GPT-judge 有客观锚点；模态标签支持细粒度能力归因；四档输入设置本身就是一个"证据窗口"探针，能测出信息定位能力；实验结论"去掉视觉输入反而提升事实性"非常反直觉且有价值。
- **不足**：数据仅 60 个视频、单一来源（YouTube recap），领域与语言偏置强；所有设置都**始终提供电影对白文本**——对白文本本身就是信息泄漏通道，"移除视觉提升事实性"很可能大部分由字幕文本兜底（这正是本调研要攻击的评测漏洞）；facts 由 LLM 从旁白转写生成，转写噪音会直接污染标签；参考无关指标仍需 LLM 打分，评价方差未报告；基准仅测 7 个模型、只在 setting (d) 上报主结果，settings 之间缺交叉分析。
- **可延展信号**：per-question modality/temporal requirement 标签完全可以移植到现有大 benchmark 上做"评测漏洞审计"；facts 机制可作为"证据引用精确率"评测的雏形（本调研 Idea 3/6 直接复用）。

### [P25] REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding
- **核心贡献**：把文本自反思升级为"面向视频片段的工具增强多模态内省"——用 GRPO 强化训练让 MLLM 学会定位与问题高相关的视频片段并围绕它反思；配套 Dual Attribution Decoupled Reward (DADR) 强制"推理—证据"因果对齐；不引入 SFT 与外部模型。
- **优点**：明确点出纯文本反思对动态视觉输入失效的机制原因（信息都在片段里，光想文本是空转）；DADR 从 reward 设计层面缓解 GRPO 在视觉证据上的 credit assignment 困难；无需 SFT/外部模型，工程上干净；在 VideoMME/LongVideoBench/MLVU/LVBench 四件套上一致提升。
- **不足**：四个 benchmark 均已被多方法刷饱和，缺少增益幅度（摘要未给出，大概率 <5%）；"工具如何选择视频片段"未说明，若是启发式（均匀/CLIP 检索）则 DADR 对齐的是"检索出来的片段"而非"真证据"，因果对齐可能自我循环；GRPO 对视频的 rollout 代价未报告；无消融区分"反思增益"与"GRPO 本身增益"（RL 基座就能涨分，P106 也是 RL 涨 8%）；跨域泛化（非四件套）未验证。
- **可延展信号**：DADR 的思想可以迁移到"预算受限"场景——在奖励里同时惩罚 token 消耗，得到"证据高效的内省"（Idea 6 的直接前身）。

### [P76] Think-as-You-See: Streaming Chain-of-Thought Reasoning for Large Vision-Language Models
- **核心贡献**：提出"边看边想"流式推理范式：CoT 随帧流入逐步生成、看完视频后加深；核心技术是时序对齐的流式推理单元（精确 CoT 监督）、流式 attention mask 与位置编码（强制顺序）、并行 KV cache（输入编码与推理生成解耦实现真并发）。
- **优点**：把推理延迟当作一等公民（pre-reasoning latency <1s，整体回答延迟降 50%+），这是对"batch CoT 全看完才想"的直接反叛；streaming attention mask + 并行 KV 是干净的工程机制；与 Idea 5 的"应答时机"互补——TaYS 解决"边看边想"，但没解决"何时开口"。
- **不足**：评估建立在自造任务（事件动态/因果/主题）而非公认 benchmark，无法横向比较；需要"流式 CoT 监督"数据，构造与质检流程未展开，复现成本高；并行 KV cache 以显存换延迟，在 8×L40 无 NVLink 环境收益存疑；对比的是自身 batch-mode 而非已有流式 SOTA（StreamBridge/VideoChat3 等）；"推理随帧加深"是否有稳定性保障（早段 CoT 幻觉是否污染晚段）未讨论。
- **可延展信号**：与 Idea 5 合流——"边看边想"产出逐帧推理状态，正是我们决策头（answer/silence/interrupt）所需的逐帧状态向量来源。

### [P91] Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding
- **核心贡献**：认知启发的多智能体：把 LVU 分解成细粒度子任务 + 深层反思协作 + VLM-based grounding（评估视频片段与隐含意图问题的相关性），在 LVBench 上超 SOTA 5.0%。
- **优点**：用 grounding 显式处理"隐含意图 + 大时间跨度定位"，这是多数 agent 忽略的难点；反思机制增强长链推理；四件套全 SOTA。
- **不足**：编排完全手工设计（分解策略、反思触发、agent 数量都是超参），没有可学习成分——本质是 prompt 工程放大版；token 消耗未报告（多 agent 反思通常成本爆炸）；5% 是单榜增益，其他榜大概率 <2%；与 LVAgent/ReAgent-V/DVD 的边界模糊（都是"分解+协作+反思"三件套）；无成本/延迟对比，8×L40 部署意义存疑。
- **可延展信号**：其 grounding 步骤（评估片段相关性）可被"预算感知检索策略"学习化，而非固定启发式。

### [P94] A4VL: A Multi-Agent Perception-Action Alliance for Efficient Long Video Reasoning
- **核心贡献**：多轮"感知-行动"探索联盟：每个 agent 从少量帧提取 query 相关线索 → 线索对齐找最相关视频块 → 交叉评审与相关性排序 → 共识不达则剪枝（踢出低分 agent）与重设（新线索/新块）再入下一轮。
- **优点**：把"证据再定位"显式建模为多轮闭环而非单次检索，思路比单轮检索成熟；event-driven 分块 + clue-guided 对齐在长视频上可扩展；宣称比 18 个 VLM + 11 个长视频方法低延迟更高分（有代码）。
- **不足**：共识阈值、轮数上限、agent 数都是手工超参，且没有"失败后重试是否值得"的分析（多轮必然涨 token）；交叉评审的 agent 共享同一基座，错误高度相关，"互相纠错"可能是互相背书；收益增量未报；与 A4VL 类似的"多轮检索精化"在 RAG 文献里早已存在，新颖性有限；多轮探索的最坏情况时延未报告（这对"实时"宣称是致命的）。
- **可延展信号**：多轮探索的"何时该停"正是 Idea 5/Idea 6 要形式化的决策；其 clue-based 对齐可被我们用作时序 token 检索的 baseline。

### [P95] Cut to the Chase: Training-free Multimodal Summarization via Chain-of-Events
- **核心贡献**：免训练多模态摘要 CoE：用 Hierarchical Event Graph (HEG) 把文本语义编码成显式事件层级，指导跨模态 grounding 与因果过渡建模，轻量风格适配做领域对齐；8 个数据集平均 +3.04 ROUGE/+9.51 CIDEr/+1.88 BERTScore。
- **优点**：免训练、可解释、事件级结构明确；显式因果/过渡建模是对"扁平时序建模"的改进；跨 8 个数据集验证了泛化。
- **缺点**：HEG 从文本转写抽取——本质是"文本驱动"的视频摘要，视频只被用来找视觉线索佐证，对无对白/少对白视频的视觉主导场景（动作、无声事件）几乎无贡献；数据集多为新闻/讲解类（文字密度高），存在对语言先验的依赖；"训练-free"实际依赖 LLM 多轮 prompt，成本与不稳定被低估；8 个数据集的基线与协议各不相同，均值比较易被个别数据集支配。
- **可延展信号**：事件图驱动的"证据锚点"思想可迁移到 Idea 1——把事件边界当作压缩路由器的时序显著性信号。

### [P106] MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding
- **核心贡献**：让 MLLM 与轻量关键帧采样器**联合演进**：先让模型推理出多种视觉视角的 query → query 与冻结 CLIP 计算 query-frame 相似矩阵 → 采样器预测采样权重选帧 → MLLM 作答；采样器与 MLLM 通过 RL 协同优化；配套 2.8K 视频/7K QA 新数据。
- **优点**：把"采样器"从独立模块升级为与模型联合优化的对象（对齐"模型想要什么帧"而非"什么帧客观重要"）；query 多样化解耦了单一文本匹配的局限；RL 端到端是干净框架。
- **不足**：相对最强 baseline 仅 +1.1%（相对自身基座 +8%），说明联合演进的上限被 CLIP 相似矩阵这个接口卡住——冻结 CLIP 与 MLLM 的语义空间不同构，采样器学到的权重可能只是"benchmark 分布偏好"；新数据集仅 2.8K 视频，规模不足以支撑"采样器+模型+query 三者的联合收敛"；没有采样权重与人工"关键帧"一致性分析，无法区分"选对帧"还是"模型会猜"。
- **可延展信号**：接口缺陷（CLIP 冻结）提示我们把采样器接口换成语义对齐的"证据判据"（Idea 6 的 retrieve 动作直接学证据，绕过相似矩阵）。

### [P111] EgoAVU: Egocentric Audio-Visual Understanding
- **核心贡献**：第一人称视听理解的可扩展数据引擎：自动生成视听叙述与 QA（3M 训练样本 EgoAVU-Instruct + 3K 人工校验 EgoAVU-Bench）；关键发现是现有 MLLM 严重偏向视觉、忽略音频或无法对音频做视听源对应；微调后 EgoAVU-Bench +113%，可迁移到 EgoTempo/EgoIllusion +28%。
- **优点**：首次系统暴露"视听不平衡"这一具体缺陷（视觉主导是数据与模型的双重 bias）；数据引擎有 token 级过滤与图式策划，质量可控；收益跨 benchmark 迁移，说明不是过拟合。
- **不足**：数据引擎依赖人类叙述 + LLM 丰富化，管线成本高且风格受叙述模板限制；EgoAVU-Bench 只有 3K 且全为第一人称，视听对应失败是否在第三人称视频同样存在未验证；"113% 提升"是相对极低基线的倍数，绝对分数仍低；音视频时间对齐错误（噪声）对指标的影响未分析。
- **可延展信号**：视听不平衡提示了更广的"模态置信度"问题——模型该在何时信任视觉/音频，与 Idea 5 的"何时开口"是同一类决策问题的不同模态版本。

### [P124] VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding
- **核心贡献**：把 agent 推理与层次化多模态记忆合流：控制器在观察-思考-行动-记忆循环中粗到细调用工具解释视频，层次记忆持续捕获并更新多级线索；相对 SOTA（DVD）更高分且显著降 token。
- **优点**：把"token 消耗"作为显式目标写进方法动机（agentic 普遍忽略成本）；记忆分层次（片段/事件/全局）符合直觉；粗到细避免一次性全量预处理。
- **不足**：控制器仍是 LLM prompt 驱动的手工策略，"自适应"没有可学习参数——与 Symphony/A4VL 一样落入编排启发式；层次记忆的写入/读取规则是手写规则，难以证明"捕获了正确线索"；只与 DVD 单点对比，无统一成本表（token/query、延迟）与其他 agent 对比；无证据层验证（记忆是否真的支撑了答案）。
- **可延展信号**："token 消耗显式化"正是 Idea 6 的出发点——把控制器从 prompt 换成 RL 策略、把手写记忆规则换成可学习读写。

### [P133] SVAgent: Storyline-guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration
- **核心贡献**：用"故事线"引导跨模态多智能体：storyline agent 依据失败驱动的修正建议渐进构建叙事表示；跨模态决策 agent 在故事线指导下分别从视觉/文本预测；meta-agent 对齐跨模态预测保证一致性。
- **优点**："以叙事为中间表示"比"帧检索"更接近人类理解（同 P95 的事件思想）；失败驱动修正给了反思以具体信号；跨模态一致性评测有 interpretability 价值。
- **不足**：故事线是文本构建，长链叙事易累积漂移与幻觉（P173 恰好批评检索/CoT 的语义漂移，SVAgent 撞上同一问题）；"跨模态预测一致性"可能只是让两个较弱预测互相折中，精度来源存疑；摘要未给标准 benchmark 数字，无法评估真实水平；多 agent 通信开销无报告。
- **可延展信号**：故事线可作为"问题无关的视频压缩表示"，但其漂移问题恰好支撑 Idea 1 的"时序保真压缩"——用可判别性约束防漂移。

### [P136] FPS-Bench: A Benchmark for High Frame-Rate Video Understanding
- **核心贡献**：首个高帧率 VideoQA benchmark + 新指标 minFPS（解某题所需最低帧率）；1000+ 题经人工核验平均需 ~7 FPS 才能解；模型 MCQ 仅 30%，人类 72%。
- **优点**：minFPS 指标把"时序分辨率需求"量化，诊断出训练数据低 FPS 导致的快动作盲区；人工核验保证 minFPS 可信；30% vs 72% 的鸿沟是强动机。
- **不足**：仍是 MCQ（自带选项先验）；1000 题规模偏小、领域有限；minFPS 标注主观（同一题不同人阈值不同，无一致性报告）；高帧率需求与"信息密度"混淆——需要 7FPS 可能只是"事件发生的时刻窗很短"，与模型帧率上限无关；只测了准确率没测"模型在低帧率下的损失函数曲线"（理想应给出 minFPS 的经验分布）。
- **可延展信号**：minFPS 可泛化成 per-question 的"时间分辨率需求"，与 Idea 3 的 TRI（帧数需求）合并成统一的"时序需求剖面"（帧数×帧率两个维度）。

### [P140] ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding
- **核心贡献**：直接操作压缩视频表示：保留稀疏 RGB 关键帧表征外观，用**运动表示**（块级运动估计，作为光流代理）编码时序动态；加模块对块级运动去噪并生成细粒度运动表示；特征压缩随序列长度线性扩展。
- **优点**：运动流与外观流分离的思路直指"空间冗余"要害；避免逐帧 RGB 解码与光流计算，效率高；去噪模块缓解块匹配的低保真度；在 LongVideoBench/NExT-QA/MLVU 上有提升。
- **不足**：块级运动对小物体、边界、半透明/遮挡运动先天残疾（这是 MPEG 块匹配的已知缺陷），去噪只能修噪声不能补信息；关键帧选择策略未说明（稀疏帧怎么选对结果影响巨大）；没有消融单独归因"运动表示"与"去噪模块"的贡献；评估没有时序敏感任务（顺序/速度/计数），无法证明运动表示真的"懂时序"而非只是"多给了点边缘线索"。
- **可延展信号**：它是 Idea 4 的最近邻——我们用**可学习的时序 token 流 + 判别式训练目标**替代其"块运动+去噪"的手工管线，并补上时序任务验证。

### [P145] Streamo: Streaming Video Instruction Tuning
- **核心贡献**：构造 Streamo-Instruct-465K 流式视频指令数据集（实时叙述、动作理解、事件描述、时序定位、时间敏感 QA 多任务），端到端训练一个通用实时流式视频 LLM，桥接离线感知模型与实时助手。
- **优点**：465K 规模的流式指令数据是目前公开资源里少见的；多任务统一训练是"流式助手"而非"单个流式 QA"；实证在多个流式 benchmark 泛化。
- **不足**：数据集由 LLM 生成，任务分布受生成模板支配，易与评测集模板重合（泄漏风险）；"实时"只体现在输入是流式的，输出端仍是"被动答题"，没有学习"何时答/何时主动说"；无延迟指标（TTFT、回答时延）——流式论文不报延迟是硬伤；无与 StreamBridge/VideoLLM-online 等正面对比的控制实验。
- **可延展信号**：465K 数据可直接喂给 Idea 5 的决策头训练做预训练数据，再叠加时序决策监督。

### [P147] Thinking with Drafts: Speculative Temporal Reasoning for Efficient Long Video Understanding
- **核心贡献**：推测式时序推理 SpecTemp：轻量 draft MLLM 从稠密采样区域快速提议显著帧，强 target MLLM 负责时序推理并验证 draft 提议、迭代精化至收敛；RL 训练；配套 SpecTemp-80K（粗证据跨度 + 细帧级证据双层级标注）。
- **优点**：把"时序感知"与"推理"解耦成可独立优化的双模型，类比 speculative decoding 的思路迁移到视频证据发现，机制有说服力；双层级标注让 draft/target 各司其职有监督信号。
- **不足**：双模型推理的显存与调度成本被低估（draft 也要跑视觉编码）；"收敛"判据未定义，迭代上限未知，最坏情况延迟没报；80K 数据需要双层级人工+自动标注，成本高；效率对比是否算上 draft 的额外开销、是否 compute-normalized 未说明；与 Frame-Voyager（训练帧选择）+ REVISOR（RL 反思）的边界模糊。
- **可延展信号**：draft 提议+target 验证与 Idea 6 的"先假设-再验证"是同构的——差别在 SpecTemp 无 token 预算约束、双模型固定配对，我们将其推广为单模型预算策略。

### [P153] StreamReady: Learning What to Answer and When in Long Streaming Videos
- **核心贡献**：首次形式化流式应答时机：**Answer Readiness Score (ARS)**——非对称早/晚惩罚的时序感知目标，与正确率结合成"有效准确率"；轻量 readiness 机制判断证据是否足够再回答；配套 ProReady-QA（带答案证据窗口标注 + 本地/全局多轮主动问答）。
- **优点**：这是本次收藏里**唯一**认真对待"何时回答"的工作，ARS 的早/晚非对称惩罚切中要害（早答=猜测、晚答=失去实时效用）；新 benchmark 带证据窗口，评测有锚点；8+ 基准验证泛化。
- **不足**：ARS 本质仍是"回答问题"协议——问题已给出、模型只决定何时答，**没有"静默"与"主动打断"**（连续流里模型应能自己发现事件开口）；早/晚惩罚系数是手工设定，无校准方法；readiness 阈值固定，无决策时延-准确率曲线（无法刻画 tradeoff）；证据窗口标注成本高且只有人工单批，无一致性报告。
- **可延展信号**：ARS 就是 Idea 5 的最近邻——我们把"二分（答/不答）静态惩罚"推广为"三值决策（答/沉默/打断）+ 曲线化 anytime 评测协议 + 学到策略"。

### [P155] Time Blindness: Why Video-Language Models Can't See What Humans Can?
- **核心贡献**：提出 SpookyBench：信息只编码在"类噪声帧的时间序列"里（模拟生物信号、隐蔽通信等纯时序现象）；人类识别 >98%，SOTA VLM **0%**；系统性分析证明跨模型规模与架构普遍存在，指向"空间特征依赖、无法从时序线索提取意义"。
- **优点**：攻击的是**根本缺陷**而非增量问题——把空间信息全部遮蔽后模型归零，说明当前视频 MLLM 本质是"时空拼接"而非"时序理解"；0% vs 98% 的极端反差是极强的 motivation；提出解耦时空的架构方向，给后续工作留了口子。
- **不足**：纯合成模式与自然视频的迁移存疑（审稿人必问"这对真实视频有什么用"）；0% 可能部分源于任务尺度失配（模式超出模型感知范围，而非"不懂时序"）；无任何方法提案，只有诊断；没有在自然时序任务（顺序/速度/计数）上量化"空间遮蔽敏感性"的连续谱系。
- **可延展信号**：这是本调研 Idea 4 的立足点——诊断之后必须补一个"可训练解耦时序通道"，并用**自然视频的时序任务 + SpookyBench 双轨验证**来堵住"合成无用论"。

### [P156] FlexMem: Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism
- **核心贡献**：免训练的灵活记忆：把视觉 KV cache 当记忆源，双通路压缩实现记忆写入迁移，按任务/流式场景选择不同读策略；单张 3090 可处理 1000+ 帧，部分 benchmark 追平 GPT-4o/Gemini-1.5 Pro。
- **优点**：免训练 + 无限长度是工程上极实用的方向；双通路（保留显著、压缩冗余）比一刀切压缩合理；读策略按任务适配（含流式）有思考。
- **不足**：压缩启发式（显著性阈值、压缩率）手调，对"瞬态但关键"线索（一帧即逝的事件）可能误杀，无失败案例分析；KV 压缩的质量与下游任务解耦——压缩丢的信息无法被模型看见，缺少"压缩-时序任务"联合诊断；跨模型迁移只验了 2 个视频 MLLM；与 ReKV/LiveVLM/InfiniPot-V 等流式 KV 记忆工作边界模糊，差异化叙述弱。
- **可延展信号**：FlexMem 的"读策略"与 Idea 5 的决策头天然互补——决策头决定何时读/读什么，FlexMem 提供记忆后端；其"免训练"也可作为 Idea 1 的时序保真压缩 baseline。

### [P165] AgenticVS: Agentic Video Summarization via Self-Reflecting Multimodal Understanding
- **核心贡献**：第一个"agentic 工作流"视频摘要：MLLM 自主完成"摘要-验证-反思"闭环，不做特征提取/重要性回归，直接在 SumMe/TVSum 超 SOTA。
- **优点**：把 agentic 范式带进摘要任务（此前是监督回归的天下），验证了"免架构、靠 agent 理解力"的可行性；可解释性强（每步可复盘）。
- **不足**：SumMe（78 视频）/TVSum（50 视频）极小且**早已饱和**，此基准上的"SOTA"无信息量；评估指标（F1/相关性）可被"摘要长度先验"gamed，无长度控制；没有长视频/真实流式摘要评测；"验证-反思"循环成本无报告；标题宣称"agentic 视频摘要"但只在一个小域验证，泛化断言过度。
- **可延展信号**：agentic 摘要的"验证"步骤缺失证据定位——若把摘要句与事件边界锚定（Idea 1 的事件路由输出），可同时提升可信度与可评测性。

### [P173] Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding
- **核心贡献**：VideoHV-Agent：把 VideoQA 重构为假设-验证：Thinker 把候选答案改写成可测假设 → Judge 提炼"判据线索"（该查什么证据）→ Verifier 在局部细粒度内容中实测 → Answer 整合验证过的证据；主张"先想清楚该为真什么，再检索"（thinking-before-finding）。
- **优点**：直击检索式 agent 的语义漂移与相关性错误（先假设再验证比先检索更少被相关性带偏）；判据线索把"查什么"从隐式变成显式，可解释性一流；逻辑上比纯检索闭环更 sound。
- **不足**：假设质量完全取决于视频摘要质量——摘要若漏/错，假设全错（又一层脆弱依赖）；Judge 与 Verifier 仍为 prompt 驱动，判据提炼与证据实测都可能自我确认（验证的是假设而非事实）；"更低计算成本"未给出与 baseline 的统一成本对比；三个 benchmark 的增益幅度未报；本质上仍是多 agent 编排，与 Symphony/A4VL 同属红海套路，只是换了个更聪明的剧本。
- **可延展信号**："假设-判据-证据"三段式正是 Idea 6 的 RL 动作空间的自然底座——把它从固定编排变成学到预算下最优的检索/验证策略。

## 2. 方向发展态势

### 2.1 技术演进脉络

**Phase 1（2023–2024）：离线全量喂帧的"空间先验"时代。** TimeChat (CVPR'24) 引入时间 token 把时间显式化；VideoLLM-online (CVPR'24) 率先做在线输入+记忆；MovieChat (CVPR'24) 提出稠密 token→稀疏记忆。共同问题：上下文窗口限制，长视频只能抽 8–64 帧，时序覆盖稀疏。此时 benchmark 还是"能答对几个"的简单题。

**Phase 2（2024）：长上下文 + 视频长度扩展。** LongVILA (ICLR'24) 用 768 帧训练 + RL 扩展上下文；LongVA (TMLR'24) 发现"上下文可以从语言迁移到视觉"；LLaVA-Video (arXiv'24) 造百万级视频指令数据；Qwen2.5-VL (arXiv'25, 5646 引) 把动态分辨率、绝对时间标记、多模态上下文推进到工业级；Gemini 2.5 (arXiv'25) 1M context。**代价**：帧×patch 的 token 爆炸被"上下文够长"掩盖——1 小时视频 1FPS × 196 token/帧 ≈ 70 万 token，训练与推理都到极限。这一代解决了"能不能放进去"，制造了新问题"放进去也读不动"（lost-in-the-middle，Frame-Voyager 明确报告）。

**Phase 3（2024–2025）：压缩与记忆双轨突围。** 压缩轨：VoCo-LLaMA (CVPR'24, 65× 压缩)、Video-XL-Pro (arXiv'25, ReCoT 重建式压缩，3B 单卡处理 8K 帧)、LLaVA-Mini (arXiv'25, 每帧 1 token)。记忆轨：VideoStreaming (NeurIPS'24, 流式编码+Gumbel-TopK 记忆选择)、Flash-VStream (arXiv'24)、流式 KV：ReKV (ICLR'25)、LiveVLM、InfiniPot-V (NeurIPS'25)、StreamMem (arXiv'25)。**代价**：压缩以重建/CLIP 对齐为目标，系统性牺牲时序保真；记忆以"语义"为内容，丢失精确顺序/计数/时长。时序任务（Vinoground/TemporalBench）分数低，且无人在压缩/记忆论文里报告。

**Phase 4（2025–2026）：agentic + RL 的"工程智能"。** VideoAgent、Deep Video Discovery (NeurIPS'25)、LVAgent (ICCV'25)、ReAgent-V (NeurIPS'25)、VideoMind (NeurIPS'25)、VideoSEAL、HiCrew、SCOUT + 本收藏 6 篇 agentic + 2 篇 RL（REVISOR、SpecTemp）。特点：多智能体编排、工具调用、反思闭环、GRPO 强化。**代价**：编排启发式无预算感知、token 成本失控、证据幻觉、在饱和 benchmark 上互相刷 1–5% 分。

**Phase 5（2025–2026）：批判与再定义。** 评测批判：VideoEval-Pro（单帧解 VideoMME ~50%、MCQ→开放降 20%+）、Breaking Down Video LLM Benchmarks、Frame Sampling Strategies Matter（帧采样偏置）、本收藏 Time Blindness/FPS-Bench/MovieRecapsQA/StreamReady。再定义：流式决策（StreamReady 的 ARS、STRIDE、ProactiveVideoQA、OVO-Timing）、纯时序感知（SpookyBench）、评测协议（StreamingBench 的 proactive 任务）。**这一阶段标志着方向从"堆能力"转向"挖缺陷、立新任务"——本调研的 6 个 Idea 全部锚在这一阶段。**

### 2.2 关键外部文献（表格）

| 文献 | 年份 | 会议 | 一句话贡献 | 与本方向关系 |
|---|---|---|---|---|
| VideoMME | 2024 | CVPR | 900 视频 2700 QA 综合长视频评测，Gemini 1.5 Pro 81.3%(带字幕) | 最常用主 benchmark，已被证明单帧可解~50% |
| LongVideoBench | 2024 | NeurIPS | 3763 长视频交错视频-语言理解评测 | 主流长视频 benchmark（四件套之一） |
| MLVU | 2024 | NeurIPS | 3000+ 视频多任务长视频理解 | 四件套之一 |
| LVBench | 2024 | ICCV | 小时级极长视频 benchmark | 四件套之一，VideoEval-Pro 指出其 MCQ 虚高 |
| TemporalBench | 2024 | arXiv | 2000+ 视频 10 万+ 细粒度时序 QA | 时序任务基准，暴露模型时序短板 |
| Vinoground | 2024 | arXiv | 反事实成对时序题，顺序/倒序测试 | 顺序盲区的金标准测试 |
| V-STaR | 2025 | arXiv | 视频时空推理 5 能力基准 | 时空推理评测 |
| VideoEval-Pro | 2025 | arXiv | MCQ→开放改写 + 单帧诊断，揭示 benchmark 虚高 | **Idea 3 的直接前身与基线** |
| StreamingBench | 2024 | arXiv | 18 任务 4500 QA 流式评测；proactive 需 2s 内开口；去冗余帧提升 35% | 流式评测标杆，proactive 任务暴露"时机"问题 |
| OVO-Bench | 2025 | CVPR | 开放词汇在线视频理解，12 域 6 任务含 OVO-Timing | 流式时序评测 |
| SVBench | 2025 | ICLR | 流式时序多轮对话评测 | 流式多轮评测 |
| VideoLLM-online | 2024 | CVPR | 在线视频 LLM，记忆机制 | 流式模型开山作之一 |
| Flash-VStream | 2024 | arXiv | 记忆驱动实时长视频理解 | 流式记忆代表性工作 |
| VideoStreaming | 2024 | NeurIPS | Phi-2 流式编码+Gumbel-TopK 记忆选择，187 引 | 记忆压缩流派的代表 |
| MovieChat | 2024 | CVPR | 稠密 token→稀疏记忆，637 引 | 记忆流派开山作 |
| ReKV | 2025 | ICLR | 流式视频 QA 的 in-context KV cache 检索 | 流式 KV 记忆 |
| LiveVLM / InfiniPot-V / StreamMem | 2025 | arXiv/NeurIPS | 流式 KV cache 压缩/检索族 | 流式 KV 记忆（红海预警区） |
| LongVILA | 2024 | ICLR | 768 帧 + RL 扩展视频上下文 | 长上下文路线代表 |
| LongVA | 2024 | TMLR | 上下文从语言迁移到视觉 | 长上下文路线代表 |
| Video-XL-Pro | 2025 | arXiv | ReCoT 重建式 token 压缩，3B 单卡 8K 帧，VideoMME 60.0 | 压缩路线 SOTA，Idea 1 主要对手 |
| LLaVA-Mini | 2025 | arXiv | 每帧 1 视觉 token，FLOPs -77%，24GB 上处理 3h 视频 | 极致压缩代表，Idea 1 主要对手 |
| VoCo-LLaMA | 2024 | CVPR | 以 LLM 为压缩器，65× 压缩 | 压缩代表 |
| FastV / PruMerge | 2024 | arXiv/NeurIPS | 视觉 token 冗余剪枝/合并 | 轻量压缩 baseline |
| Frame-Voyager | 2025 | ICLR | 学习 query 感知的组合帧选择，8 帧>均匀 128 帧 | 帧选择 SOTA，Idea 2 对手 |
| BOLT | 2025 | CVPR | 免训练逆变换采样帧选择，VideoMME 53.8→56.1 | 免训练帧选择，Idea 2 对手 |
| AKS / Q-Frame / F2C | 2025 | arXiv | RL 自适应采样 / 多分辨率帧 / 关键片段选择 | 帧选择红海证据 |
| VideoMind | 2025 | NeurIPS | Chain-of-LoRA 长视频 agent | agentic 红海代表 |
| Deep Video Discovery | 2025 | NeurIPS | 工具调用 agentic 搜索，67 引 | agentic 红海代表 |
| LVAgent / ReAgent-V | 2025 | ICCV/NeurIPS | 多轮协作 / reward 驱动多 agent | agentic 红海代表 |
| VideoSEAL | 2026 | arXiv | 解耦答案权威缓解 agent 证据错位 | 说明"证据对齐"开始被卷 |
| STRIDE | 2026 | arXiv | 流式"何时说话"+序列去噪 | **Idea 5 的 2026 年同期竞争者** |
| Qwen2.5-VL / Qwen3-VL | 2025 | arXiv | 工业级开源视频 MLLM，动态 FPS+绝对时间 | 本调研主 backbone |
| Gemini 2.5 | 2025 | arXiv | 1M 上下文 + agentic 能力，3909 引 | 闭源天花板参照 |
| MOSS-VL-Realtime | 2026 | arXiv | XRoPE 3D 坐标 + 256K 流式开源 SOTA | 流式开源 SOTA 参照 |
| VideoChat3 | 2026 | arXiv | Qwen3-VL-4B 全栈视频理解，VideoMME 70.1/StreamingBench 83.0 | 2026 开源 SOTA 参照 |
| VST | 2026 | arXiv | 流式 CoT，StreamingBench 79.5% 超 GPT-4o | "边看边想"竞争（与 P76 同赛道） |

### 2.3 当前 SOTA 格局与主流评测

- **离线长视频**：主 benchmark 是 VideoMME（无字幕）做"干净"对比、MLU/LongVideoBench/LVBench 做长程补充。2026 年开源 SOTA：Qwen3-VL/InternVL3 系 ~70–75%（VideoMME 带字幕），VideoChat3-4B 报 70.1（带字幕）；闭源 Gemini 2.5 Pro ~80%+。7B 级（Qwen2.5-VL-7B）无字幕约 55–60%，是 8×L40 的现实起点。**注意**：VideoMME 分数约一半来自单帧可解+语言先验（VideoEval-Pro 证据），所以"70%"含金量存疑——这正是 Idea 3 的靶子。
- **流式/在线**：StreamingBench（人类 91.7%，开源 2026 年 SOTA ~79–83）、OVO-Bench（开源 ~57–60）、SVBench、ProReady-QA。流式与离线模型目前互相借鉴：流式模型靠记忆+检索，离线模型靠 agent 多轮。
- **时序专项**：TemporalBench 最佳 ~50%（人类 >90%）、Vinoground 最佳 ~50%、V-STaR、FPS-Bench 30% vs 人类 72%、SpookyBench 0% vs 人类 98%——**时序任务是当前最大的未闭合缺口**，且没有任何压缩/记忆/agent 论文以时序任务为主指标。
- **主流 backbone**：Qwen2.5-VL-7B/72B、Qwen3-VL-4B/8B、InternVL3-8B、LLaVA-OneVision-7B、Gemini 2.5（闭源参照）。7B 级 + LoRA 是 8×L40 的主战场。

### 2.4 方向级根本缺陷（Open Gaps）

- **G1 纯时序信号盲区（空间主导）**：模型把视频当"带时间标签的空间图"，空间遮蔽后 0%（P155），顺序/速度/计数全弱（Vinoground、TemporalBench、FPS-Bench）。为什么没解决：视频 MLLM 的训练目标（caption/QA）都可用单帧空间线索凑合，模型没被逼着学时序；缺少解耦的时序通道与对应训练目标。需要：架构上显式分离"空间流/时序流"+ 判别式时序自监督（Idea 4）。
- **G2 应答时机决策未形式化**：流式场景模型该何时答/沉默/打断，只有 StreamReady 的静态 ARS 与 StreamingBench 的硬阈值 2s 窗口；无三值决策定义、无 anytime 评测曲线、无学到策略。为什么重要：这是流式助手从"demo"走向"产品"的咽喉（直播、监控、会议助手），且是"提出新问题"的高分窗口（Idea 5）。
- **G3 评测漏洞普遍且无人统一修补**：单帧可解（VideoMME ~50%）、MCQ 虚高（降 20%+）、字幕泄漏（MovieRecapsQA 全程给对白文本、VideoMME 带字幕协议）、帧采样偏置。现有批判（VideoEval-Pro、Breaking Down）只做诊断不改交付。需要：可运行的审计管线 + per-question 时序需求指标 + 校正子集（Idea 3）。
- **G4 token 压缩与时序保真度矛盾**：所有压缩器（LLaVA-Mini/VoCo/VideoStreaming/Video-XL-Pro）以重建/对齐为目标，时序信息（顺序/速度/计数/瞬态事件）是第一个被压掉的，却无任何论文报时序任务衰减。为什么没解决：缺"时序保真"的可优化目标与评测协议（Idea 1）。
- **G5 agentic 成本失控 + 证据幻觉**：agent 多轮探索无预算上限，编排启发式不可学习；"验证"可能自我确认（P173）。为什么没解决：多智能体论文把 token 当免费资源；需要把预算写进 reward（Idea 6）。
- **G6 记忆模型丢失精确时序**：语义记忆（MovieChat/VideoStreaming/FlexMem）不保留顺序/计数/时长，检索式记忆（ReKV）依赖 query 质量。需要"时序保真记忆"（Idea 1/6 交叉）。
- **G7 训练数据 FPS 过低导致快动作盲**（FPS-Bench 30%）：主流训练 1–2FPS，模型从没见过高频现象。需要多速率训练与高频事件标注（Idea 4 部分覆盖）。
- **G8 开放问答评测不成熟**：reference-free 指标（MovieRecapsQA facts）依赖 LLM 打分，噪声未量化。需要标准化证据锚定评测（Idea 3/6 复用）。

### 2.5 红海警告（不建议投入的子问题）

- **红海 1（最高危）：agentic 多智能体长视频推理。** 本次收藏 6 篇同质（P91/P94/P124/P133/P165/P173）+ 外部至少 19 篇（VideoMind/DVD/LVAgent/ReAgent-V/VideoAgent2/VideoSeek/HiCrew/Symphony/SVAgent/VideoARM/VideoSEAL/SCOUT/ParaVT/Agentic Very Long Video Understanding/VideoExplorer/ViSAGE 等）。症状：全部报 SOTA 于**同一批 4 个饱和 benchmark**、增益大多 <5%、编排清一色"分解+协作+反思"启发式、无统一成本表、无证据级验证、边界互相模糊。**结论：纯"新编排剧本"绝不要碰**。差异化出路只有两条：① 把预算/成本写成可学习目标（Idea 6）；② 做证据级可验证性（citable evidence），但这已被 VideoSEAL 开始卷。若 2026 年底再投纯 agentic 编排，几乎必被拒或只能中 workshop。
- **红海 2：通用关键帧选择。** Frame-Voyager/BOLT/Q-Frame/AKS/F2C + 收藏 P106(MSJoE) 已把"选哪几帧"打满，剩余增益 ~2–4%，且 BOLT 免训练已证明大部分收益无需训练。**别做"又一个帧选择器"**；可做的是把选择升级为"预算调度 + 停机决策"（Idea 2），或把选择对象从帧升级为"时序保真压缩"（Idea 1）。
- **红海 3：流式 KV cache 压缩/检索。** ReKV/LiveVLM/InfiniPot-V/StreamMem/StreamKV/V-Rex/CodecSight 已把"压缩-检索-缓存"占满，且多为工程优化、机制雷同。**别做第 N 个 KV 压缩器**；可做的是与"何时决策"结合（Idea 5），或与"时序保真"结合（Idea 1 的记忆版）。
- **蓝海（可投入）**：① 纯时序感知与解耦时序通道（几乎无人做方法）；② 应答时机决策协议（2026 年才 2-3 篇起步）；③ 评测漏洞统一审计+校正交付物（批判多、修复少）；④ 预算感知单模型 agent（多 agent 多、单模型预算少）；⑤ 时序保真压缩诊断（诊断无、指标无）。

## 3. 六个可扩展 Idea

### Idea 1（低风险）：OrderPax —— 时序保真的视频 Token 压缩
- **一句话 Pitch**：现有视频 token 压缩器全是"空间重建盲"——我们把**时序可判别性**写进压缩目标，让压出来的 token 保留顺序/速度/计数/事件边界。
- **切入的 Gap**：G4（压缩 vs 时序保真矛盾）+ G6 的记忆版。直接证据：无任何压缩论文在 TemporalBench/Vinoground/顺序检测上报过数；P156 FlexMem 与 P95 都暴露"压缩/事件丢失"却无解。
- **核心技术方案**：
  - **输入/输出**：输入视频（≤256 帧）+ 问题（可选）；输出压缩后的 token 序列（帧 token + 事件 token + 时间戳 token）喂给 MLLM。
  - **模块 A：时序显著性路由（temporal-saliency router）**。轻量 motion prior（帧差能量 + 可选 VideoMAE-base 特征）把帧分成"事件帧"（保留全分辨率 196 tokens）与"冗余帧"（经 query-based 压缩器压成 1–4 tokens，复用 LLaVA-Mini 式压缩）。路由权重由一个小学习头输出，超参少。
  - **模块 B：时序保真目标**。在压缩 token 上挂探针头：① 顺序判别对比损失 `L_con = -log exp(sim(z_s, z_τ)) / Σ_{τ'∈{τ, shuffle, reverse, swap}} exp(sim(z_s, z_τ'))`（z_s 为压缩后的序列级表示）；② 计数/时长回归头 `L_reg = MSE(count_pred, count_gt) + MSE(dur_pred, dur_gt)`；③ 事件边界分类 `L_cls`。总损失 `L = L_sft + λ1 L_con + λ2 L_reg + λ3 L_cls`。
  - **模块 C：显式时间戳 token**：每帧/每事件附绝对时间嵌入（位置编码沿用 Qwen2.5-VL 的 TMRoPE 接口，不新增 token 类型）。
  - **关键设计选择**：用"判别式探针头"而非重建（Video-XL-Pro 用重建）——因为重建目标与 LLM 下游任务不直接对齐，判别目标直接对应评测指标。
  - **与最接近工作的精确 delta**：vs LLaVA-Mini/VoCo-LLaMA：它们按空间信息压缩、无时序目标；我们显式路由事件帧 + 时序保真损失。vs Video-XL-Pro：它做重建式压缩，我们做判别式压缩且加"冗余帧低分辨率 + 事件帧高分辨率"的路由。vs ReMoRa：它用手工块运动代理，我们用可学习路由 + 判别目标。
- **为什么新颖（Novelty Argument）**：审稿人最可能说"就是 query-based 压缩加了个小 loss"。反驳：核心洞察是**压缩目标与下游评测目标系统性错位**——重建/CLIP 对齐不保证时序，而时序恰是长视频评测的命门；我们给出诊断证据（现有压缩器在时序任务骤降）并证明判别目标可逆。审稿人会说"LLaVA-Mini 已每帧 1 token"。反驳：我们要的不是极限压缩，是**压缩-时序保真的帕累托前沿**，并给出每个压缩率下的时序任务分数曲线。
- **实验方案**：
  - 数据集：TemporalBench（细粒度时序）、Vinoground（顺序）、V-STaR、MLVU-mcg（多粒度）、LongVideoBench、Charades-STA（时序定位）、SpookyBench（纯时序，可选）。均为公开。
  - Baselines（≥4）：Uniform(64 帧)、LLaVA-Mini-1tok、VoCo-LLaMA、VideoStreaming、Video-XL-Pro、FlexMem。
  - 主实验表：行=方法，列=TemporalBench acc / Vinoground acc / V-STaR / MLVU / LongVideoBench / 压缩率 / tokens-per-video / 延迟。
  - 消融（≥4）：① 去 L_con（证明判别目标必要）；② 去路由（全部均匀压缩，证明事件帧保留必要）；③ 压缩率扫描 8×/32×/64×（画帕累托曲线）；④ 不同 motion prior（帧差 vs VideoMAE 特征）；⑤ 探针头类型（判别 vs 重建）。
  - 分析实验：压缩前后"顺序敏感度"诊断表（对 shuffle/reverse 的准确率变化）；注意力可视化展示事件帧被保留；t-SNE 显示时序 token 按时间序排列。
  - 指标：acc + 压缩率 + 帕累托前沿 AUC；无需人工评测（全公开指标），SpookyBench 子集人工核对 200 条。
- **8×L40 可行性核算**：backbone Qwen2.5-VL-7B，LoRA r=64（可训参数 ~0.4B）。序列：256 帧输入，事件帧 30%×196 + 冗余帧 70%×4 + 探针头 → 有效序列 ~9–12K token，batch 2。显存：权重 15.2GB + LoRA 0.4GB + 激活(seq 12K, grad ckpt) ~5GB + KV ~1GB ≈ 22GB/卡，ZeRO-2 DP×8 无压力。数据：60K 指令样本（复用 LLaVA-Video/MLVU 训练集切片 + 自造 10K 时序探针）。预算：SFT 400 GPU·h + 诊断推理 80 GPU·h ≈ **500 GPU·h（3 天 8 卡）**。做不了的部分：Video-XL-Pro 级全参压缩预训练（→ 不做，用 LoRA + 冻结视觉编码器降级）。
- **风险与退路**：最大风险：判别目标与 SFT 冲突导致空间任务掉点。缓解：λ 扫描 + 两阶段训练（先 SFT 后加保真 loss）。若主结果平：退路是"**压缩器的时序盲区诊断**"——第一份系统性报告（谁在时序任务上丢多少、为什么），配 OrderPax 作为修复模块，仍是可发表的方法+诊断论文。

### Idea 2（低风险）：BudgetVid —— 任意时间帧预算调度
- **一句话 Pitch**：把帧采样从"选固定 K 帧"升级为**带 token 预算约束的 anytime 决策**——模型先粗后细、置信即停，学习精度-预算帕累托前沿上的最优花费策略。
- **切入的 Gap**：G5 的成本维度（预算感知）在采样器上同样缺失；G3 的帧采样偏置。现有采样器（Frame-Voyager/MSJoE/AKS）都输出固定 K 帧，没有"花多少钱"的决策；BOLT 证明免训练选择收益有限——下一步必然是"学会在预算约束下花好钱"。
- **核心技术方案**：
  - **形式化**：给定问题 q 与视频 V，预算 B（token 上限）。策略 π 在 step t 观测已见帧集 F_t 的紧凑特征 h_t（CLIP/ViT 特征池 + 问题嵌入），输出动作 a_t ∈ {increase_density, switch_compression, stop}。停止时用当前已选帧集生成答案。
  - **训练**：策略为小 MLP/Transformer（~30–100M）。用 REINFORCE 最大化 `E[R]`，`R = Acc(ans) - λ·(cost(F_T)/B)`；Acc 由冻结 7B MLLM 打分（离线预计算每步答案的 log-likelihood 作代理）。模拟器：从训练集视频预抽取 128 帧候选 + 各密度/压缩级别下的预计算特征。
  - **关键设计选择**：把"成本"变成软惩罚而非硬约束，以学帕累托前沿（可通过 λ 扫描出多档策略）；置信度由"当前已选帧集答案 logit 差"提供。
  - **与最接近工作 delta**：vs MSJoE/Frame-Voyager：它们输出固定 K 且一次性；我们输出**花费轨迹（spending schedule）+ 停机决策**，目标是精度-预算曲线而非单点。vs Frame Sampling Strategies Matter（只诊断不同采样策略）：我们把"策略选择"变成可学习。vs BOLT（免训练）：我们学最优调度，补足免训练方法没有的时序/置信自适应。
- **为什么新颖**：审稿人会说"这是帧选择 + early exit 的拼接"。反驳：拼接点在"花费轨迹"这一新对象——没有任何帧采样工作把"逐步增密 + 停机 + 压缩级别切换"联合学习并汇报帕累托前沿；且我们的奖励把 MLLM 的答案对数似然作为信号，形成"模型-采样器共适应"闭环（比 MSJoE 的 CLIP 相似矩阵接口更对齐）。
- **实验方案**：
  - 数据集：VideoMME、LongVideoBench、MLVU、BOLT 的 multi-source 检索设置（拼 distractor 视频造噪音上下文）。全部公开。
  - Baselines：Uniform(固定预算)、BOLT、Frame-Voyager、AKS、MSJoE、BudgetVid(本方法)。
  - 主实验表：行=方法，列=各预算档 {2K,4K,8K,16K token} 的 acc + 预算-精度曲线 AUC + 平均决策时延。
  - 消融（≥4）：① 去停机头（只学密度调度，证明"何时停"贡献）；② 去压缩级别切换；③ λ（预算惩罚）扫描；④ 策略输入（h_t 用 CLIP 特征 vs 7B 中间层）；⑤ 置信度代理（logit 差 vs 不确定性估计）。
  - 分析实验：不同问题类型（时序/计数/定位）的"理想花费轨迹"可视化——证明策略学出了"时序题多花钱、感知题早停"。
  - 指标：acc + token/query + 帕累托 AUC；无人工评测。
- **8×L40 可行性核算**：策略网络小，7B 只做推理（冻结）。预计算特征：8 卡 × 3 天 ≈ 200 GPU·h；策略训练（小网络，数据 20K 模拟轨迹）≈ 30 GPU·h；全量评测（多预算×多 baseline）≈ 150 GPU·h。总计 **≈ 400 GPU·h**。无需训练 7B，完全在 8×L40 舒适区。做不了：端到端联合微调 7B+策略（→ 降级为两阶段冻结式，已是主方案）。
- **风险与退路**：最大风险：预算-精度曲线收益不足（每档只 +1–2%）。退路：若增益平，转为"**采样策略的系统对比 + 预算-精度前沿分析**"论文——第一份在统一预算协议下重排全部帧选择方法的基准研究（这本身能澄清文献中的帧采样偏置争议，P136/VideoMME 都缺这种受控对比）。

### Idea 3（中风险，唯一 benchmark 型）：LeanVid Audit —— 长视频评测漏洞审计与校正
- **一句话 Pitch**：对主流长视频 benchmark 跑一遍可复现的"漏洞审计"（单帧可解性/语言先验/字幕泄漏/时间打乱），产出带 **Temporal Requirement Index (TRI)** 的校正子集与开放问答重评测协议。
- **切入的 Gap**：G3。证据链：VideoEval-Pro 证明 VideoMME 单帧可解 ~50%、MCQ→开放降 20%+；P2 MovieRecapsQA 自己就全程泄漏对白文本；StreamingBench 证明去冗余帧提升 35%；BOLT 证明查询无关噪音会击穿均匀采样。
- **核心技术方案**：
  - **审计管线（全自动，可跑任意模型）**：对每道题跑 5 个条件：① single-frame（1 帧+问题）；② question-only（无视频）；③ subtitle-only（仅字幕文本，对带字幕 benchmark）；④ frame-shuffle（时间打乱，测时序敏感性）；⑤ 关键帧替换（反事实扰动）。输出每题的**漏洞向量** `v ∈ {单帧可解, 语言先验, 字幕泄漏, 时序不敏感}`。
  - **TRI 指标**：自动估计"回答所需最少帧数/证据跨度"（从 1 帧递增扫描直到分数饱和 + shuffle 敏感度校准），人工抽验 300 题算一致性（ICC）。配套 **MGSF**（Marginal Gain over Single-Frame）= 全帧准确率 − 单帧准确率，衡量方法是否真用了时序信息。
  - **校正交付物**：LeanVid-Set：从 VideoMME/LongVideoBench/MLVU/LVBench 过滤出 TRI≥2 且 shuffle 敏感且 question-only ≤ 随机水平的题（估计 25–35% 原题量，~1.5–2K 题），LLM 改写为开放短答 + 人工核验 30%；附标准评测脚本。
  - **与最接近工作 delta**：vs VideoEval-Pro：它只做 MCQ→开放改写 + 单帧诊断；我们输出**统一可运行的审计管线 + TRI/MGSF 指标 + 校正子集 + 重排榜**，把"批判"变成"工具箱"。vs Breaking Down Video LLM Benchmarks（能力分解）：我们做**漏洞定位与修复交付**，目标不同。vs P2（facts 评测）：我们把其 modality 标签思想推广为自动 TRI。
- **为什么新颖**：审稿人会说"VideoEval-Pro 已经做过了"。反驳：VideoEval-Pro 是单点研究，未解决（a）**字幕泄漏的量化**（带字幕协议 vs 无字幕协议的对齐性），（b）**可运行的自动化审计管线**（任何人都能在新模型上复跑），（c）**时序需求剖面**（帧数×帧率×证据跨度的三维需求）。benchmark 建设在 CVPR 有持续价值（VideoMME 3147 引），且这是"纠正既有基准"的少有人做的位置。
- **实验方案**：
  - 数据：审计对象 VideoMME/LongVideoBench/MLVU/LVBench + 参考 TemporalBench/Vinoground；交付 LeanVid-Set（~1.5K 题）。
  - Baselines：不适用（本方法产出的是评测协议）；评测主体为 10 个模型：Qwen2.5-VL-7B/72B、Qwen3-VL-4B、InternVL3-8B、LLaVA-OneVision-7B、VideoChat3、Gemini 2.5 Flash、GPT-4o、Kimi-VL、MiniCPM-o。
  - 主实验表：三张——(a) 漏洞审计热力图（4 benchmark × 4 漏洞 × 平均率）；(b) 原榜 vs LeanVid-Set 开放榜的模型排名变化；(c) MGSF/TRI 分布统计。
  - 消融/验证（≥4）：① 审计条件组合（去掉某条件后漏洞检出率变化）；② TRI 自动 vs 人工一致性（ICC）；③ 改写后题目可答性抽检（人工）；④ 开放问答打分器（GPT-4o judge vs 规则）敏感性。
  - 分析实验：单帧可解题的类型分布（知识/场景类 vs 时序类）；字幕泄漏的分数贡献分解；时间打乱后模型分数下降分布——找出"靠时序"vs"靠空间"的题。
  - 指标：acc、ICC、排名相关（Spearman）、单帧-全帧差；人工评测 300–500 题（评分者 2 名）。
- **8×L40 可行性核算**：无训练，纯推理。10 模型 × 4 benchmark × 5 条件 × 平均 16 帧推理 ≈ 120 GPU·h（Qwen2.5-VL-72B 用 4bit 推理 + 32B 走 AWQ 也只在单卡推理）。改写与打分用 API（GPT-4o judge 约 $800–1500）。人工抽验 300 题（2 人 × 3 天）。总计 **≈ 150 GPU·h + $1.5K API**，完全在预算内。
- **风险与退路**：最大风险：数据版权/下载（VideoMME 等视频托管在 Google Drive，可能被墙/失效）→ 用 HLV-1K/开源子集替代；审稿人质疑"为什么不用已有反作弊基准"→ 明确与 VideoEval-Pro 的差异。退路：不做校正子集，只发布**审计管线 + TRI 指标 + 重排榜**，作为"评测方法学"论文同样成立（且工作量大减）。

### Idea 4（高风险，oral 潜力）：ChronoNet —— 解耦时空的双流时序通道
- **一句话 Pitch**：当前视频 MLLM 把视频当"带时间标签的空间图"，空间遮蔽即归零；我们给模型增加一条**纯时序 token 流**（可学习帧间运动嵌入），配时序判别自监督，攻破 SpookyBench 类纯时序盲区，同时拉高自然视频时序任务。
- **切入的 Gap**：G1（纯时序盲区，P155 直接立足）+ G7（快动作盲，P136）。Time Blindness 论文自己呼吁"解耦空间与时间处理"但没给方法——我们补方法。
- **核心技术方案**：
  - **输入/输出**：输入 = 稀疏 RGB 关键帧（空间流，走原 ViT，64 帧×196 token）+ 稠密采样（4 FPS）的**帧间差分序列**（时序流，走小型时序编码器）。输出 = 空间 token + `T_t` 个时序 token（每 0.5s 1 个，~128 token/分钟）拼接进 LLM。
  - **时序流编码器**：可学习 3D 卷积（如 C3D-lite）或 VideoMAE-base（冻结 backbone + 可学习投影），输入连续帧差分（4 帧叠成一张"动态图"），输出紧凑时序 token。关键：**差分输入天然与空间内容解耦**（背景静止则差分为零），迫使模型只能从"变化模式"里提取信息。
  - **位置编码**：时间轴与空间轴分离——时序 token 只带绝对时间嵌入（复用 TMRoPE），不参与空间 patch 网格。
  - **训练两阶段**：阶段 1 时序自监督（无需新标注）：① masked temporal modeling：遮蔽一段差分序列让编码器重建（类似 VideoMAE 但只对差分流）；② 顺序判别对比：`L_order = CE(p, τ==identity)`，p 为分类器判断输入是正序/乱序/倒序的概率（采样自 {identity, shuffle, reverse, swap}）。阶段 2 LoRA SFT 于时序密集任务（TemporalBench/Vinoground/V-STaR/FPS-Bench 训练切）。
  - **与最接近工作 delta**：vs ReMoRa：我们用**可学习编码器 + 判别目标**替代其块运动+去噪手工管线，且用纯时序任务验证；vs P76 TaYS：它改推理协议，我们改输入表示（双流可共存）；vs VideoMAE/V-JEPA：它们做自监督表示，不接入 LLM 推理链路——我们把它变成 LLM 可读的 token 流并端到端受益。
- **为什么新颖**：审稿人会说"就是加了光流分支/VideoMAE 特征"。反驳：差异在**信息通路设计**——差分流只携带"变化"，从输入侧强制解耦空间主导（P155 诊断的直接架构回应），而不是给模型再喂一遍空间特征；且我们证明了 0% 的 SpookyBench 可被"输入表示"而非"更多参数"解决。审稿人会说"时序任务 Gains 有限、真实视频没用"。反驳：双轨验证（SpookyBench + 自然视频时序任务 + FPS-Bench）堵住合成无用论。
- **实验方案**：
  - 数据集：SpookyBench（纯时序，目标 >0% 且显著超所有 baseline）、FPS-Bench（快动作）、TemporalBench、Vinoground、V-STaR、VideoMME（保底不降）。训练数据：TemporalBench/Vinoground/V-STaR 训练切 + 自造 20K 差分流自监督（从 ActivityNet/ego 视频采样）。
  - Baselines：Qwen2.5-VL-7B（直接喂帧）、+ReMoRa 式运动表示、+VideoMAE 特征拼接、LLaVA-OneVision-7B、InternVL3-8B、Video-XL-Pro（压缩但无时序通道）。
  - 主实验表：行=方法，列=SpookyBench / FPS-Bench / TemporalBench / Vinoground / V-STaR / VideoMME。
  - 消融（≥4）：① 去时序流（只剩 RGB，证明双流必要）；② 差分输入 vs 光流输入 vs 原始帧输入（证明"差分=解耦"是关键）；③ 去 L_order 判别目标（证明自监督必要）；④ 时序 token 密度（0.25s/0.5s/1s 采样率）；⑤ 时序流冻结 vs 微调。
  - 分析实验：顺序敏感性曲线（shuffle/reverse 下各方法分数）；注意力可视化——时序 token 是否聚焦变化区域；差分流重建可视化。
  - 指标：acc + 顺序敏感度 + 帧率曲线（FPS-Bench 风格）；人工评测 200 条 SpookyBench 类合成题确认人类基线。
- **8×L40 可行性核算**：Qwen2.5-VL-7B LoRA r=64 + 时序编码器（<100M，部分冻结）。序列：64 RGB 帧×196 + 128 时序 token ≈ 12.7K token，batch 2。显存 ~23GB/卡，ZeRO-2 DP×8。数据 40K（20K 自监督 + 20K SFT）。预算：自监督 200 GPU·h + SFT 500 GPU·h + 评测 150 GPU·h ≈ **850 GPU·h**。SpookyBench 全 100 类模式逐类测（确保 0%→非零不是运气）。
- **风险与退路**：最大风险：SpookyBench 太难（0% 起步，可能只到 10–20%）且审稿人认为合成任务不重要。缓解：把"能解到 X%"与"自然视频时序任务 +Δ 与 VideoMME 不掉"一起作为主张。退路（若 SpookyBench 卡死）：发表"**时序-空间解耦诊断**"：系统性证明现有 7 种主流模型/压缩/记忆方法在顺序敏感性、纯时序、快动作上的退化剖面，ChronoNet 作为"部分修复"——仍是高信息量论文，且时间盲区话题在 2026 年有热度。

### Idea 5（高风险，新问题定义）：SpeakNow —— 何时回答/沉默/打断的形式化与 anytime 时序感知评测
- **一句话 Pitch**：流式助手缺"应答时机"决策的形式化与评测；我们定义 Silence-Answer-Interrupt 三值决策问题、提出 **TAU（Time-Aware Utility）** 与"accuracy-vs-decision-time 曲线"评测协议，并用 RL 学到时机策略。
- **切入的 Gap**：G2。现有最近邻：P153 StreamReady 的 ARS 是静态每题的 early/late 惩罚（无静默、无打断、无曲线）；StreamingBench proactive 是硬阈值 2s；STRIDE (2026) 刚起步做"when to speak"。这是一个"提出新问题"的高分窗口。
- **核心技术方案**：
  - **形式化**：观测流 `o_1..t`（逐帧或逐 0.5s 特征），模型在每时刻输出决策 `d_t ∈ {answer, stay_silent, interrupt}`。设真实证据出现时刻 τ_e。定义效用：
    `U(d, τ) = 1[d=answer ∧ correct]·g((τ_e - τ)/σ) + 1[d=interrupt ∧ triggered(τ)]·β - c_s·1[d=stay_silent after τ_e] - c_w·latency(τ)`
    其中 g 为时延衰减（如 `exp(-(τ-τ_e)/σ)` 早答惩罚 + 指数晚答惩罚的非对称组合，吸收 ARS 思想并推广）。**新指标 TAA（Timing-Aware Accuracy）** = 归一化 U 的均值；配套决策时间分布、早答率/晚答率、以及 **accuracy-budget 曲线**（给定"最大决策时延 D"下的最佳可达准确率，取曲线下面积 ATAUC）——把"时机能力"变成可比较的标量。
  - **方法**：决策头 H（轻量 Transformer，输入逐帧状态向量 s_t 来自流式 MLLM 的每步 KV/隐藏态或 CLIP 特征，输出三值 logits）+ 价值网络，PPO 训练。环境 = **流式模拟器**：证据到达时间按 benchmark（ProReady-QA/OVO-Timing）的标注窗分布采样，事件触发标注复用其 trigger 定义。回答动作触发目标 MLLM 生成一次答案。
  - **关键设计选择**：把评测协议与方法解耦——**TAU/ATAUC 可在任何流式模型上跑**（协议贡献可独立发表）；决策头轻量、不微调 7B，保证 8×L40 可行。
  - **与最接近工作 delta**：vs StreamReady（ARS）：它是"问题已给出、决定何时答"的二值模型；我们是"连续流中自主发现事件、三值决策（含主动打断）"，且评测是曲线化 anytime 协议而非单点分数。vs StreamingBench proactive：硬阈值→代价校准曲线。vs STRIDE：我们给出形式化效用 + 指标 + 协议三件套，而非只做方法。
- **为什么新颖**：审稿人会说"ARS 已定义早/晚惩罚"。反驳：三值决策（silence 作为显式动作 + interrupt 作为主动行为）在文献中无人形式化；"accuracy-budget 曲线 + ATAUC"把时机能力变成可比标量（现有全部流式工作只报单点）；且我们证明该协议能重排模型（诊断价值：谁快而准、谁慢而准）。这是"新任务/新指标"型论文，符合顶会偏好。
- **实验方案**：
  - 数据：ProReady-QA（现成证据窗）、OVO-Timing、ProactiveVideoQA（触发标注）、自造 3K 题 Proactive-Timing-Set（连续流 + 干扰事件 + 证据窗 + trigger 标注，半自动生成 + 人工校验）。
  - Baselines：StreamReady、STRIDE、StreamBridge、StreamingTOM、VideoChat3、MOSS-VL-Realtime、VST（报告其原指标 + 在统一协议下重评）。
  - 主实验表：行=方法，列=TAA / ATAUC / 答对率 / 平均决策时延 / 早答率 / 晚答率 / 打断准确率（trigger 命中）。
  - 消融（≥4）：① 决策动作空间（二值 vs 三值，证明 interrupt 贡献）；② 静默代价 c_s 与衰减 σ 的敏感性；③ 决策头输入（逐帧隐藏态 vs CLIP 特征）；④ PPO vs 阈值策略；⑤ 模拟器证据分布（固定 vs 采样）。
  - 分析实验：学到的"等待-打断"行为可视化（时序图：证据到达→模型何时开口）；accuracy-budget 曲线图（谁在 2s 内损失多少）；失败案例（模型为何早答/晚答）。
  - 指标：TAA/ATAUC 为主；人工评测 500 条（判断"此时该答吗"）+ GPT-4o judge 交叉。
- **8×L40 可行性核算**：决策头 <0.3B，PPO 在模拟器上 rollout（状态预计算离线存储，模拟器纯 CPU/小 GPU）。状态预计算：7B 推理 60 个视频 × 8 卡 ≈ 200 GPU·h；PPO 训练 30K 轨迹 ≈ 250 GPU·h；评测（10 模型 × 统一协议重评）≈ 150 GPU·h；总计 **≈ 600 GPU·h + $1K API**。做不了：端到端微调 7B 决策感知（→ 决策头方案已够，且协议部分不需要它）。
- **风险与退路**：最大风险："何时该答"的主观性（审稿人质疑评测合理性）→ 用证据窗 + trigger 客观标注 + 人类一致性报告化解。RL 不收敛 → 决策头改监督训练（用模拟器最优策略蒸馏）。退路：发布**"Anytime Timing-Aware 评测协议 + 现有 10 模型诊断"**（谁在什么时延下答什么，重排流式榜）——新问题+诊断双保险，即使策略部分平凡也可发表。

### Idea 6（中高风险，红海差异化）：TokenRL-Agent —— 预算感知的 agentic 长视频推理
- **一句话 Pitch**：agentic 红海病根是"编排启发式、token 当免费资源"；我们把 **token 预算写进 RL 奖励**，让单个 MLLM 学会"先假设-再检索-后验证"的预算最优证据获取策略。
- **切入的 Gap**：G5（成本失控 + 证据幻觉）。针对红海 1 的差异化：不碰"多 agent 编排"，做"单模型 + 预算约束 + 可验证证据"。
- **核心技术方案**：
  - **单模型 agentic 定义**：MLLM 在同一上下文里循环执行动作（类似 ReAct），动作空间 A = {retrieve(t1,t2), zoom(t), hypothesize(c), verify(c,t1,t2), answer}，但**每个动作消耗 token**，轨迹总成本计入目标。
  - **奖励**：`R = 1[answer correct] - λ·(cost_traj/B)^γ - ρ·(1 - evid_precision)`。其中 `evid_precision` 用"答案引用的 (t1,t2) 区间内是否真的含支撑证据"来衡量——训练时用 SpecTemp-80K 式双层级标注（已有公开数据）+ 自动证据打分（引用区间 ∩ 标注证据 span 的 IoU）；推理时用 LLM judge（复用 P2 facts 思想）。
  - **训练**：GRPO（分组采样轨迹，组内用 R 相对奖励；与 P106/P25 同技术栈但目标是"预算约束下的证据获取"而非"答案"）。基座 Qwen2.5-VL-7B LoRA。
  - **与最接近工作 delta**：vs Symphony/A4VL/VideoARM/VideoHV-Agent：它们编排手工、预算隐形、验证不可靠；我们**唯一把 cost/B 作为 reward 项并学出预算-精度帕累托**。vs ReAgent-V/VideoMind：RL 或 LoRA 都有，但无预算惩罚与证据精确率项。vs SpecTemp：双模型固定配对、无预算自适应；我们单模型 + 预算软约束。vs VideoSEAL：它解耦"答案权威"缓解证据错位，但无预算学习——我们可复用其"证据错位诊断"作为评估维度。
- **为什么新颖**：审稿人会说"又是 agentic + RL 的拼接"。反驳：拼接点是**预算作为一阶可学习资源**——现有所有 agentic 论文（含外部 19 篇）无一把 token 消耗写成 reward 项并报告成本-精度帕累托；我们的证据精确率奖励把"agent 验证是否自我确认"变成可优化、可评测的目标（P173 的软肋）。这直接回应红海 1 的两大死穴（成本失控 + 证据幻觉）。
- **实验方案**：
  - 数据集：训练 = SpecTemp-80K（现成证据标注）+ 自造 20K 预算轨迹数据（用强模型蒸馏正例）；评测 = LVBench、LongVideoBench、VideoMME、MLVU + 证据精确率人工抽样。
  - Baselines：VideoHV-Agent、VideoARM、Symphony、Deep Video Discovery、ReAgent-V、VideoMind、SpecTemp、REVISOR。
  - 主实验表：行=方法，列=各 benchmark acc / tokens-per-query / 延迟 / 证据精确率（引用区间 IoU）/ 预算-精度曲线。
  - 消融（≥4）：① λ=0（去掉预算惩罚，证明预算项带来 Pareto 而非单纯掉点）；② γ 形状（线性 vs 指数，证明"超预算重罚"设计）；③ 证据精确率奖励（无则验证环节退化为自我确认）；④ 动作空间（去 zoom 动作）；⑤ GRPO group size。
  - 分析实验：学到的检索模式（策略倾向"少检索+集中验证"还是"广撒网"）；不同预算档的行为差异；证据错位失败案例（引用区间内无证据）的修复对比。
  - 指标：acc + 成本 + 证据精确率（人工 300 条 + LLM judge 一致性）；预算-精度 ATAUC 类曲线。
- **8×L40 可行性核算**：Qwen2.5-VL-7B LoRA r=64；轨迹 rollout 平均 64 帧×196 + 工具文本 ≈ 15K token；GRPO 40K queries × group 4。8 卡 DP + ZeRO-2，bf16；每 query rollout+训练 ≈ 4 GPU·s → 40K×4×4s ≈ 1800 GPU·h，**超预算风险**。降级方案（写死）：主实验只跑 LVBench + LongVideoBench 两个榜（-40% 计算）、group 减到 2、轨迹上限 12K token，压到 **≈ 1000 GPU·h**；预算-精度曲线用 3 档 λ 而非 5 档。
- **风险与退路**：最大风险：长视频 RL 不稳定（GRPO 在 15K token 序列上方差大）+ 预算惩罚诱发"早停偷懒"（模型学会少做动作避罚而非高效获取证据）→ 用证据精确率项制衡 + λ 扫描。退路：若 RL 不涨点，改**监督微调 + 推理期预算调度**（蒸馏最优轨迹后在线修剪），并报告"预算约束下 agent 成本-精度帕累托"这一迄今无人给的表——即使准确率持平，"同等 token 下更准 / 同等准确率下省 40% token"也是新发现。

## 4. 优先级建议

| Idea | 类型 | 新颖度 | 工作量 | 风险 | 8×L40 契合度 | 推荐投稿目标 | 建议启动顺序 |
|---|---|---|---|---|---|---|---|
| 1 OrderPax 时序保真压缩 | 方法+诊断 | 中 | 中 | 低 | 高（500 GPU·h） | CVPR'27 / NeurIPS'26 | 1（最早，保底） |
| 2 BudgetVid 预算调度 | 方法+评测 | 中 | 低 | 低 | 极高（400 GPU·h） | CVPR'27 / ICCV'27 | 2 |
| 3 LeanVid Audit 评测审计 | benchmark+方法 | 高（话题热） | 中 | 中 | 极高（150 GPU·h+API） | CVPR'27 / ECCV'26 | 3（与 1/2 并行，数据可复用） |
| 5 SpeakNow 时序决策 | 新问题+新指标 | 高 | 中高 | 高 | 高（600 GPU·h） | CVPR'27（oral 候选）/ NeurIPS'26 | 4（新问题窗口，抢首发） |
| 4 ChronoNet 双流时序通道 | 方法（oral 潜力） | 很高 | 高 | 高 | 中（850 GPU·h） | CVPR'27 / ICLR'27 | 5（最冒险，放后期） |
| 6 TokenRL-Agent 预算 agent | 方法+差异化 | 中高 | 高 | 中高 | 中（1000 GPU·h，有降级） | CVPR'27 / NeurIPS'26 | 6（等红海降温，做差异化） |

**总体策略**：先做 Idea 1 + Idea 2（低风险保底，3 个月可出稿），并行启动 Idea 3（审计数据可同时喂给 1 和 2 的评测）；Idea 5 作为"新问题"抢 2026 下半年首发窗口（STRIDE/StreamReady 已热身，赛道 2–3 篇内）；Idea 4 是 oral 梦，放在算力和团队状态最好时做；Idea 6 明确作为红海差异化，若 agentic 热度在 2027 持续则可投，否则砍掉保 Time Blindness 主线。