# M9｜参数高效微调、模型合并、持续学习与测试时自适应

## 0. 方向速览

本方向回答一个共同问题：**给定一个预训练基础模型和有限算力，如何用一组轻量适配器（LoRA）完成"多任务 → 时序任务 → 在线漂移"三种部署形态，且不互相遗忘、不互相干扰。** LoRA 使微调成本降到单卡可负担，但产生了"适配器爆炸"（模型合并）、"任务遗忘"（持续学习）、"分布漂移"（测试时自适应）三个派生问题。2024-2026 这三条线各自爆发：合并方法从简单插值（Task Arithmetic）卷到正交化/特征漂移最小化；持续学习从 prompt 卷到 LVLM 动态 MoE；TTA 从熵最小化卷到贝叶斯/统计方法。共同瓶颈是**缺乏统摄理论（何时能合并/为何不遗忘）**，以及**评价协议混乱（label-free 场景、无泄漏基准、realistic 分布假设）**。卡住的地方：绝大多数新方法只是换插值策略或换熵代理刷分，增量贡献趋近于零。

## 1. 论文逐篇评析

### [P64] Label-Free Cross-Task LoRA Merging with Null-Space Compression

- **核心贡献**：发现 LoRA 微调中 down-projection 因子 A 的**零空间被压缩**，且压缩程度与任务性能相关；把这一几何量当作 label-free、output-agnostic 的合并信号，无需标签/熵代理即可跨分类、回归、序列生成三类任务设定合并权重，在 20 个异构视觉任务 + NLI + VQA/captioning 上达到均衡 SOTA。
- **优点**：
  1. 跳出"用验证集或熵挑系数"的框架：熵代理在回归任务上定义不了，长序列下代价高，NSC 用 A 矩阵自身的几何属性，**任务类型不可知**，这是真正通用的合并信号。
  2. 直击 LoRA 合并的"均衡性"问题：多数方法在任务子集上过拟合（牺牲部分任务换取平均分），NSC 明确报告"balanced gains"。
  3. 可解释性好：零空间压缩是一个可观测、可监控的训练时信号，与性能相关性的经验分析给了机制叙事。
  4. 实验面广（20 vision + NLI + VQA + captioning），跨了分类/回归/生成三大任务族，规模诚意足。
- **不足**：
  1. **信号-性能相关性纯属经验观察**：为什么零空间压缩能度量"该任务的适配器在多大程度上是必需的"？与已有理论（任务向量的子空间可分离性、LMC）没有建立联系，Reviewer 会问"换个初始化/rank/优化器（Adam vs SGD）/量化（QLoRA）下这个相关性还成立吗"——论文没有给出该相关性的鲁棒性分析。
  2. **合并规模与干扰累积**：20 个任务只是"能合"，没回答"合到 N 个任务时性能塌缩"的临界点在哪；也没分析合并后任务的相互干扰在**哪些层**最严重（层级归因缺失）。
  3. 与 DO-Merging/OSRM 的边界模糊：这三者都在"适配器几何"上做文章（magnitude/direction 解耦、正交子空间、零空间压缩），NSC 需要明确说明它与"子空间正交化"路线的本质区别是优化信号 vs 约束手段，否则会被视为 incremental 变体。
  4. 需要共享基座 + 需要无标签校准数据做信号估计，对"真正 zero-data 合并"场景（只有权重、没有校准集）不适用。
- **可延展信号**：零空间压缩可以升级为一个**通用的"可合并性"打分器**——预测任意两个/一组 LoRA 合并后会不会打架，无需跑合并实验。这直接通向"合并可行性预测"这个新任务。

### [P67] On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large VLMs

- **核心贡献**：把 MoE 持续学习的遗忘归因从"专家层"下钻到 **token 层**：新任务数据中模糊/旧类 token 被路由进新专家后只带来极小学习收益却诱发 routing-drift 遗忘；据此提出 LLaVA-DyMoE（token 级分配引导 + 路由得分正则），在 LVLM 持续指令微调上平均准确率 +7%、遗忘 -12%。
- **优点**：
  1. **粒度是真新**：现有 MoE-CL（MoELoRA、SAME、HiDe-LLaVA）都是专家级隔离/正则，P67 第一次在 token 粒度做失败模式分析，且"token 的两难"机制可解释、可复现。
  2. 指出"专家冻结≠不遗忘"这个反直觉事实，把矛头从参数转向**路由**，为整个 MoE-CL 子领域提供了新研究轴。
  3. 用路由得分分布刻画 token 类型（清晰新/清晰旧/模糊），给出的正则化目标自然、可计算。
  4. 与典型 MoE-CL 基线的差距显著（+7% mean final acc，-12% forgetting），不是刷点。
- **不足**：
  1. **token 类型划分依赖阈值**：路由得分分布上的分类阈值如何定？对置信度校准敏感的模型（不同 LVLM、不同温度）下是否要重调？
  2. 需要**任务边界与任务身份**（知道哪些 token 属于旧任务）——这是 task-incremental 设定。task-free / 数据流无边界设定下"旧 token"如何识别没交代，而这恰恰是真实部署常态。
  3. 路由得分**在训练中本身在漂移**：用当前 router 判定"模糊 token"，再用正则让它离新专家远，存在自指循环（router 越错判，正则越强化错判），论文没做"路由质量随训练步数的收敛分析"。
  4. 专家扩展策略仍朴素（每任务加固定数量专家），没有容量规划；且 7B LVLM + 逐任务加专家的存储/推理成本增长曲线没有给出。
- **可延展信号**：routing 稳定性本身可以成为贯穿 **合并（防误路由干扰）、CL（防漂移遗忘）、TTA（在线只调路由）** 的统一控制变量——P67 只做了 CL 这一半。

### [P82] Prompt-Anchored Vision-Text Distillation for Lifelong Person Re-identification

- **核心贡献**：用**冻结的 VLM 文本编码器作为跨域语义锚**，视觉侧 EMA 教师 + 自适应 prompt 池做域级塑性，形成"文本管稳定、视觉管塑性"的非对称视-文蒸馏框架（PAD），在终身 ReID 的已见/未见域上达到 SOTA 稳定-塑性平衡。
- **优点**：
  1. 模态角色解耦的设计是优雅的：text 锚定语义稳定性、vision 负责增量适配，把"稳定 vs 塑性"这一 CL 根本矛盾**分配到不同模态**，比在单模态里做正则/蒸馏更干净。
  2. 利用了别人没用足的先验：CLIP 文本编码器在域迁移下几乎不漂移，这是廉价且稳定的锚。
  3. 是 exemplar-free 的，符合隐私/存储敏感部署；EMA 教师 + prompt 池的增量扩展机制可控。
  4. LReID 本身在 VLM 时代相对冷门，选点不拥挤。
- **不足**：
  1. **ReID 的文本锚语义稀薄**：ReID 类别就是"person 0/1/2"，文本编码器只能提供类无关的行人语义，无法锚定"谁是谁"；因此"语义稳定"锚定的是通用行人先验而非身份知识——这个假设在跨相机/跨域但有**同一批身份**的场景（真正的 LReID）下是不是够用，值得质疑。
  2. 与通用 CL 的迁移性存疑：用 CLIP 做一般 LVLM 持续学习时，文本锚能否泛化（对"回答格式、视觉推理"这类非实体知识）没有证据。
  3. prompt 池本身就是记忆，声称 exemplar-free 有点擦边（参数记忆 vs 样本记忆的界定需要明确）；EMA 教师 + 池调度的超参不少。
  4. 只报 ReID 指标（mAP/CMC），没有标准 CL 遗忘指标（BWT/FWT），难以与 CL 文献横向对比。
- **可延展信号**："文本锚定"机制可以迁移到 **TTA 与开放词汇**：测试时新类别原型可以用已知类别的视-文映射线性外推（text-anchored prototype），这是 P82 洞察在"测试时持续扩展词表"上的直接复用。

### [P84] Condensed Test-Time Adaptation of VLMs for Action Recognition

- **核心贡献**：指出 memory-based 视频 TTA 中"vision-vision"与"vision-text"两条映射链**不对称、不可传递**（非传递性）是泛化瓶颈，提出训练无关的 ConDA：用 vision-text 对齐的概率选语义 patch（PSPS），再按 patch 视觉相似度自适应构造时空 tube（ATC），在 7 个动作识别基准上兼容任意 VLM。
- **优点**：
  1. "映射链非传递性"是**有洞察的失败模式描述**，把视频 TTA 从"堆 cache"提升到"分析模态映射结构"。
  2. 训练无关、即插即用，兼容任意 backbone，工程价值高。
  3. 用 vision-text 对齐作为 vision-vision 对齐的"指导信号"，恰好利用了 CLIP 类模型最强的语义先验。
  4. 覆盖长时、第一视角等复杂场景，实验量足。
- **不足**：
  1. **非传递性没有被量化**：断言 vs 测量。如果补一个"映射链传递误差随域偏移程度的曲线"会说服力大增；否则 Reviewer 可以认为这只是选 patch 启发式换了个包装。
  2. 标准动作识别基准（Kinetics/UCF/HMDB 的常规 split）**并非分布偏移**场景，更像零样本适应；真正的 TTA 应构造"训练域 A、测试域 B（损坏/跨域/视角变化）"。七个基准里真正的 shifted 场景占比没说清。
  3. 只做 cache/memory 类方法，不做任何梯度/适配器更新，能力上限受限于特征本身；与可学习方法（LoRA 在线微调）的差距是结构性短板。
  4. PSPS/ATC 的 patch 数、相似度阈值等超参对性能敏感，缺少敏感性曲线。
- **可延展信号**：视频域几乎没有 VLM TTA 的正式设定（训练/测试域分离 + 损坏协议），**定义并标准化"视频 TTA 协议"本身就是一篇 benchmark 级贡献**；其模态对齐链思想也可引到 VQA 的 TTA 信号设计。

### [P89] A Faster Path to Continual Learning

- **核心贡献**：分析 C-Flat（三次额外梯度）中 flatness-promoting 梯度相对代理模型梯度存在**方向不变分量**，可跳过冗余的扰动上升梯度计算；配"线性调度 + 自适应触发"把后期任务的 turbo 步加大，得到 1.0–1.25× 加速且精度不降甚至更优。
- **优点**：
  1. 对优化器的**代数结构分析**（方向不变性）是真技术，不是工程 trick；推导可复现。
  2. 与具体 CL 方法正交，plug-and-play，推广面广。
  3. "平坦度梯度随任务趋于稳定"的经验观察 + 自适应调度的动机自洽。
  4. 在多种 CL 方法上一致加速，鲁棒性较好。
- **不足**：
  1. **1.25× 加速的边际价值有限**：C-Flat 本身就是 CL 优化器里的配角，优化类方法在 replay-free 时代（prompt/MoE 统治）地位下滑，加速一个非 SOTA 方法很难打动审稿人。
  2. "方向不变分量"的普适性只对二次近似成立，对非凸 loss 的论证弱；不同损失函数（softmax vs 对比）下分量分离是否仍成立没有保证。
  3. 自适应触发 = 新超参，且调度策略依赖任务序列长度，task-free 流式场景不可用。
  4. 实验限于经典 CL 基准（Split-ImageNet/CIFAR 系），没有在 LVLM/LLM 规模验证——而平坦度在巨大模型上更有争议（Sharpness-Aware 在 LLM 上结论不一致）。
- **可延展信号**：平坦度与"可合并性"直接相关（P&M 已证明平坦训练使合并更好）——C-Flat Turbo 的廉价平坦度信号可以喂给合并系数求解，打通优化器→合并→CL 的几何通道。

### [P112] TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts

- **核心贡献**：把 MoLE 注入 one-shot supernet 的 ViT 架构搜索：每个 subnet 由路由分配专属 LoRA 专家学 subnet-specific 特征，缓解共享权重导致的 feature collapse；提出分组式路由初始化促进专家早期分化，在 ImageNet 及 5 个迁移基准上显著超过 TAS SOTA。
- **优点**：
  1. 对 feature collapse 的归因（共享权重→subnet 无法学自身特征）清晰，MoLE 给出的解法是**机制上对症**的。
  2. 路由以"subnet 架构"为条件而非以 token 为条件，这个条件变量的选择在 TAS 语境下是新颖的。
  3. LoRA 让 supernet 训练的计算代价可控，实践性强。
  4. 分组初始化解决了 MoE 冷启动的专家坍缩问题，是一个可复用的工程洞察。
- **不足**：
  1. **TAS 本身是小众方向**：NAS 热度持续走低，投 CVPR 的 target audience 小；且 TAS 的 SOTA 基线和评价指标（top-1、FLOPs）相对固化。
  2. "subnet 架构"的表示是什么（embedding 哪来的、与采样的架构 token 如何对应）论文摘要没给，可复现性存疑。
  3. 专家数 × subnet 数的存储增长：supernet 训练时每个 layer 存多组 LoRA，rank 与专家数折衷没有分析。
  4. feature collapse 的度量（CKA/特征秩？）没有量化，只报最终精度，机制论证缺中间证据。
  5. 迁移基准（CIFAR/Flowers/CARS/INAT-19）都是小规模分类，与当前主流（多模态、检测）脱节。
- **可延展信号**：**架构条件化路由**这个机制比 TAS 本身值钱——"按输入结构（架构/模态/域）选适配器"可以直接搬到 LoRA 库的按需路由上。

### [P130] SG-LoRA: Semantic-guided LoRA Parameters Generation

- **核心贡献**：提出 tuning-free 的"语义→LoRA"生成管线：用任务描述文本在共享嵌入空间里度量与已知专家任务的近邻关系，据此建模目标 LoRA 参数分布并直接生成新任务适配器，面向零样本开放世界个性化与隐私保护。
- **优点**：
  1. 瞄准"LoRA 参数生成"这个几乎没人做对的方向，野心大，问题定义（开放世界零样本适配）有真实需求（边缘端实时个性化）。
  2. 用任务描述作语义桥、以已知专家任务为锚，概念上比"闭世界训练的生成器"更灵活。
  3. 隐私友好（本地生成，不上传数据）。
  4. 提供了自我定义的 zero-shot open-world 评测协议，虽然不标准但填补空白。
- **不足**：
  1. **"语义近邻→参数分布"的映射缺乏可靠形式化**：文本描述的歧义性（同一句话可以是多个任务）、语义空间与参数空间的鸿沟，论文没有论证为什么这个映射是良定的。这是致命弱点。
  2. 生成 LoRA 的性能上限通常远低于训练出来的 LoRA——没有说明在什么任务、什么数据规模下生成能追上 few-shot 微调。
  3. "prominent LoRA experts"从哪来、要多少、质量多高才能支撑生成，依赖链未交代。
  4. 评测协议自造，无标准 benchmark、无对照评估集，审稿人难以核验。
  5. 与 PELoRA、hypernetwork 路线的边界未划清。
- **可延展信号**：直接"生成参数"是高风险低回报的 formulation；**降级为"语义检索→组合"**（用语义桥选最相关的一组现成 LoRA 再按几何组合）是稳妥且更可发表的版本——这正好是"LoRA 资产管理"的检索模块。

## 2. 方向发展态势

### 2.1 技术演进脉络

**（1）LoRA 谱系：从"调 rank"到"解耦表示"。** LoRA (ICLR'22) 以固定 rank 双因子近似微调增量；随后 AdaLoRA (ICLR'24) 做结构化 rank 分配、rsLoRA 按 rank 重缩放、PiSSA (ICML'24) 用主奇异空间初始化提升从头学质量、VeRA (NeurIPS'24) 用共享随机基大幅压参、DoRA (NeurIPS'24) 把幅度-方向解耦。演进逻辑：每次改进都在回答"低秩假设哪里不够"，副产品是 LoRA 的**几何结构**（子空间、幅度/方向）被研究透——这为合并奠定了基础。

**（2）LoRA 组合/合并：从"选权重"到"对齐与正交化"。** LoRAHub (EMNLP'23) 用任务级标量组合；LoRA-Flow (arXiv'24) 升级到 token/层级动态门控权重；ZipLoRA (ICLR'24) 在子空间内求合并；LoRA-LEGO (ICLR'25) 先做参数对齐再做 MSU 合并；DO-Merging (arXiv'25) 解耦幅度/方向 + 数据无关正交化；OSRM (arXiv'25) 把约束前置到**训练前**（正交初始化避免干扰）；TC-LoRA (arXiv'25) 用 CP 分解解耦共享/任务因子。脉络：早期"插值系数怎么定"，2024 后转向"合并前怎么对齐、子空间怎么正交、干扰怎么消除"。**但绝大多数仍是"换插值策略刷标准 8-task 分类分"**。

**（3）模型合并（全参级）：从平均到特征漂移最小化。** Model Soups (ICML'22) 证明同基座微调模型可安全平均；Task Arithmetic (ICLR'23) 确立任务向量范式；TIES (NeurIPS'23) 解决符号冲突；DARE (ICML'24) 发现可丢弃 90-99% delta；AdaMerging (CVPR'24) 用任务级自适应权重学习合并；ZipIt (ICML'23) 支持跨任务合并；2025 转折：LOT Merging (NeurIPS'25) 把合并形式化为**层间特征漂移最小化的闭式凸二次优化**（16-64 个 exemplar、44 秒、ViT-B/32 平均 82.7%），并论证"特征漂移↔精度下降"高度线性相关。**合并从"启发式"走向"可优化、可闭式解"**。

**（4）MoE-LoRA：从"提容量"到"管知识"再到"防漂移"。** MoV/MoLoRA (arXiv'23) 首次把 PEFT 与 MoE 结合；LoRAMoE (arXiv'23) 用分组专家防世界知识遗忘；MoLA (arXiv'24) 发现"高层需要更多专家"；MixLoRA (CoRR'24)、X-LoRA (arXiv'24)、LLaVA-MoLE (arXiv'24) 工程化成熟；2025-2026 进入持续学习：P67 (CVPR'26) 的 token 级路由分析、SAME (ICML'26) 的训练时专家冻结。脉络：**专家隔离已证明不足以防遗忘，路由层的漂移成为新战场**。

**（5）持续学习：从图像分类到 LVLM 持续指令微调。** 正则/回放 → L2P (CVPR'22)/DualPrompt (ECCV'22)/CODA-Prompt (CVPR'23) 的 prompt 路线 → InfLoRA (NeurIPS'24)/C-LoRA (ICLR'24) 的参数隔离 → 2024-2026 LVLM 化：MoELoRA（CoIN 基准）、HiDe-LLaVA (ACL'25) 的层次解耦与 UCIT 基准（修复 CoIN 预训练泄漏）、ModalPrompt (EMNLP'25)、MLLM-CL 基准、TriGap 长序列基准、SAME (ICML'26)。**关键变化：基准本身在快速翻新（CoIN→UCIT→TriGap），谁定义"无泄漏、长序列"的基准谁占坑。**

**（6）合并 × 持续学习的合流。** P&M Perturb-and-Merge (NeurIPS'25) 是标志性事件：训练时沿任务向量扰动（等价 Hessian 正则的无偏随机近似）、推理时用 Fisher 闭式最优系数做凸组合，首次把 model merging 作为 CL 的推理阶段。**它证明了"CL 与 merging 共享同一目标——让一个点在参数空间中同时靠近多个任务最优"**，统一视角的大门刚被推开。

**（7）VLM 测试时自适应：从熵最小化到统计/贝叶斯，再到"自反性批判"。** TPT (NeurIPS'22) 首个 VLM TTA；C-TPT (ICLR'24)、MTA/TDA/DMN (CVPR'24)、BoostAdapter/DPE/ZERO (NeurIPS'24)、OnZeta (ECCV'24) 在分类任务上连番刷点；StatA (CVPR'25) 提出 **realistic 设定（变数有效类、非 i.i.d. batch）** 并指出多数方法在此设定下损伤 zero-shot；关键批判文献 *"The Illusion of Progress? A Critical Look at TTA for VLMs"* (arXiv 2506.24000) 系统曝光熵/置信度启发式在真实分布假设下的失效；UL-TTA (arXiv'25) 证明 **logit 级（原型+先验+温度）闭式贝叶斯更新就够了**（+4.7 平均、ECE 降 20-30%、<8% 延迟开销）。**脉络：分类 TTA 进入自省与饱和期，方法重心从"学一个更好更新规则"转向"少动、动对、只动统计量"。**

**（8）LoRA 参数生成：仍未成熟的处女地。** hypernetwork/PELoRA (arXiv'23)、LoRA.rar (arXiv'25) 用 hypernetwork 学合并、SG-LoRA (CVPR'26) 语义生成。**该线缺可靠形式化与 benchmark，直接生成参数目前是低回报 formulation。**

### 2.2 关键外部文献

| 文献 | 年份/会议 | 一句话贡献 | 与本方向关系 |
|---|---|---|---|
| LoRA (ICLR'22) | 2022/ICLR | 低秩双因子参数高效微调 | 一切适配器问题之基 |
| DoRA (NeurIPS'24) | 2024/NeurIPS | 幅度-方向解耦 LoRA | 提示 LoRA 的几何本质 |
| AdaLoRA (ICLR'24) | 2024/ICLR | 结构化 rank 自适应分配 | 低秩假设边界 |
| PiSSA (ICML'24) | 2024/ICML | 主奇异空间初始化 | 影响适配器可合并性 |
| Model Soups (ICML'22) | 2022/ICML | 同基座微调模型平均提升 | 合并的 LMC 经验基础 |
| Task Arithmetic (ICLR'23) | 2023/ICLR | 任务向量加减缩放 | 合并范式起点 |
| TIES-Merging (NeurIPS'23) | 2023/NeurIPS | 修剪+符号选举+合并 | 干扰消解标准基线 |
| DARE (ICML'24) | 2024/ICML | 丢弃 90%+ delta 反提性能 | 稀疏性=可合并性 |
| AdaMerging (CVPR'24) | 2024/CVPR | 任务级自适应合并权重（需标签） | 我们的闭式替代对象 |
| ZipIt (ICML'23) | 2023/ICML | 跨任务特征空间合并 | 异构合并 |
| LOT Merging (NeurIPS'25) | 2025/NeurIPS | 层间特征漂移最小化闭式合并 | 合并=可优化闭式解 |
| P&M Perturb-and-Merge (NeurIPS'25) | 2025/NeurIPS | CL 推理阶段做 Fisher 最优凸组合 | 合并×CL 统一起点 |
| LoRAHub (EMNLP'23) | 2023/EMNLP | 任务级 LoRA 组合 | LoRA 组合早期 |
| LoRA-Flow (arXiv'24) | 2024/arXiv | token 级动态融合门 | 组合粒度下钻 |
| ZipLoRA (ICLR'24) | 2024/ICLR | 子空间内 LoRA 合并 | LoRA 专属合并 |
| LoRA-LEGO (ICLR'25) | 2025/ICLR | 对齐+MSU 合并 | LoRA 合并对齐路线 |
| DO-Merging (arXiv 2505.15875) | 2025/arXiv | 幅度/方向解耦+正交化 | LoRA 合并几何路线 |
| OSRM (arXiv 2505.22934) | 2025/arXiv | 训练前正交初始化防合并干扰 | 约束前置的合并 |
| MoV/MoLoRA (arXiv'23) | 2023/arXiv | 首个 PEFT×MoE | MoE-LoRA 谱系起点 |
| LoRAMoE (arXiv'23) | 2023/arXiv | 分组专家防世界知识遗忘 | MoE 与 CL 结合 |
| MoLA (arXiv'24) | 2024/arXiv | 高层需要更多专家 | 专家容量分配 |
| MixLoRA (CoRR'24) | 2024/CoRR | FFN 内 LoRA 专家+负载均衡 | MoE-LoRA 工程基线 |
| LLaVA-MoLE (arXiv'24) | 2024/arXiv | 稀疏 MoE-LoRA 缓解数据冲突 | VLM 指令微调 MoE |
| L2P/DualPrompt/CODA-Prompt | 2022-2023 | prompt 池持续学习 | 经典 CL 基线谱 |
| InfLoRA (NeurIPS'24) | 2024/NeurIPS | 干扰无关子空间持续学习 | 参数隔离 CL |
| C-LoRA (ICLR'24) | 2024/ICLR | 持续扩散定制 | LoRA 在生成模型 CL |
| MoELoRA / CoIN 基准 | 2024/arXiv | LVLM 持续指令微调 MoE+基准 | 本文 P67 的直接基线 |
| HiDe-LLaVA + UCIT (ACL'25) | 2025/ACL | 层次解耦 + 无泄漏基准 | 基准翻新代表 |
| SAME (ICML'26) | 2026/ICML | 训练时冻结旧专家防遗忘 | MoE-CL 最新 SOTA |
| TPT (NeurIPS'22) | 2022/NeurIPS | 首个 VLM 测试时 prompt 调优 | VLM TTA 起点 |
| MTA/C-TPT/TDA/DMN (CVPR'24/ICLR'24) | 2024 | 熵/置信度/原型统计 TTA | 分类 TTA 刷分一代 |
| StatA (CVPR'25) | 2025/CVPR | realistic 设定 + 统计锚正则 | 对 TTA 假设的批判 |
| The Illusion of Progress (arXiv 2506.24000) | 2025/arXiv | 系统揭露 TTA 在 realistic 设定失效 | **分类 TTA 红海判据** |
| UL-TTA (arXiv 2511.09101) | 2025/arXiv | logit 级贝叶斯闭式 TTA | TTA=统计量更新的方向 |
| Test-Time Warmup (arXiv 2509.10641) | 2025/arXiv | 弱监督辅助任务做 MLLM 测试时热启动 | MLLM TTA 极少数先例 |
| ROSITA (ICLR-W'25) / SegAssist (BMVC'25) | 2025 | 开放集/增量 TTA | open-world TTA 萌芽 |
| TENT (ICLR'21)/T3A (NeurIPS'22) | 2021-2022 | 参数/原型测试时自适应 | 经典基线 |
| PELoRA (arXiv'23) | 2023/arXiv | 超网生成 LoRA 参数 | LoRA 生成前史 |
| LoRA.rar (arXiv'25) | 2025/arXiv | hypernetwork 学合并 | 生成×合并 |

> 说明：以上均为本次调研中实际检索到的文献；个别条目的会议归属以常见引用为准，若存疑已尽量以 arXiv 年份标注。`[未验证]`：无。

### 2.3 当前 SOTA 格局与主流评测

- **全参模型合并（vision 多任务分类）**：主流评测是"同一基座（ViT-B/32 / ViT-L/14）在 8 个数据集上单独微调后合并，报告平均 acc"。Task Arithmetic ≈74、TIES ≈73.1、DO-Merging 77.88、LOT Merging 82.7（ViT-B/32，训练无关，44 秒，16-64 exemplar/任务）。**数字基准正被"训练无关+数据高效"方法快速改写。**
- **LoRA 合并（LLM 侧）**：GLUE 多任务。OSRM 把 Task Arithmetic 在 RoBERTa-large 上从 70.04→76.59，且对合并系数更鲁棒；说明"训练前正交化 + 后处理合并"的组合是目前 LLM LoRA 合并的最强配方。**但 GLUE 上方法间差距小、易过拟合特定任务集。**
- **LVLM 持续指令微调**：基准快速翻新——CoIN（8 任务，但存在预训练数据泄漏）→ UCIT（6 任务，零样本筛选去泄漏）→ TriGap（10 任务长序列）。LLaVA-1.5-7B 上 Avg acc：MoELoRA 44.45（TriGap）、HiDe-LLaVA 63.95（CoIN）、SAME 66.82（CoIN）/67.12（UCIT）。**当前最强是"训练时冻结旧专家+分层解耦"路线；P67 的 token 级方法（+7% vs baseline）是路由轴的新 SOTA。**
- **VLM 分类 TTA**：标准评测是 ImageNet 微调后 OOD 域（R/S/A/V2/Sketch）+ 跨域 10 集（VTAB 类）。无反向传播统计派（MTA、TPS、UL-TTA）已接近/超过反向传播派（TPT/C-TPT）且快几个量级：UL-TTA 平均 +4.7 分、延迟 <8%、ECE -20~30%。**"The Illusion of Progress" 揭示：在变数有效类、非 i.i.d. batch 的 realistic 协议下，多数主流方法 accuracy 反而低于 zero-shot。** 这意味着当前"公开数字"很大程度是协议红利。
- **经典图像 CL**：Split-ImageNet / CIFAR-100 (B0-Inc5/10) / DomainNet。prompt 派（CODA-Prompt 等）已接近饱和，顶会兴趣已整体转移到 **LVLM 持续指令微调**。

### 2.4 方向级根本缺陷（Open Gaps）

1. **合并后的任务干扰没有理论**：为什么 LoRA 合并会干扰？OSRM 归因于"数据-参数交互"、DO-Merging 归因于幅度方差、LOT 归因于特征漂移——三个归因各自成立、互不统摄，没有统一的干扰模型（如"干扰 = 跨任务 Fisher 交叉项 + 表示漂移的复合"）。缺"什么时候能合、合到多好有上界"的判据。**为什么没解决**：合并的有效性依赖损失景观/数据分布的二阶结构，而大模型 Fisher 估计成本高；**为什么重要**：没有判据，所有新方法都在盲试插值策略；**需要什么突破**：可负担的 Fisher/特征统计估计 + 一个把现有归因吸收进来的形式化。
2. **无标签场景的合并评估协议缺失**：AdaMerging 要验证集标签、LOT 要 16-64 exemplar（无标签即可）、NSC 要无标签校准集。**没有一个统一的"label-free 合并评估协议"**（用多少无标签数据、选什么校准集、报什么指标），方法间不可比，也无法回答"部署时到底能不能用"。TTA 已经被"Illusion of Progress"用 realistic 协议拆穿一次，合并是下一个被拆穿的对象。
3. **合并 × 持续学习 × TTA 缺乏统一视角**：P&M 只做了顺序 CL 的凸组合；合并（批处理、无序）、CL（顺序、有任务边界）、TTA（在线、无任务边界）本质是同一流形问题的三种调度，但文献各自为战，术语都不互通。**统一视角（参数流形几何 / 路由稳定性）是 2026 顶会的空白位。**
4. **VLM 的 TTA 只做分类**：VQA/视频/长尾/开放词汇的 TTA 几乎空白。原因：分类 TTA 的熵/置信度信号在生成式任务上没有定义；且视频/生成任务的"偏移协议"不存在。**这是任务轴上的真空区，比方法轴好发得多。**
5. **MoE 持续学习的路由漂移只被诊断、未被控制到统一**：P67 给出了 token 级分析与针对性正则，但没有把"路由稳定性"提升为可证明的控制变量（遗忘上界含路由漂移项），也没有扩展到合并/TTA。
6. **适配器资产没有管理科学**：HF/CivitAI 上 LoRA 数以万计，个人研究者训练几十个适配器后无人组织——检索、去重、组合决策、压缩全部靠手工（mergekit 只解决"怎么合"不解决"该合谁"）。
7. **LoRA 参数生成缺乏可靠 formulation 与基准**：语义→参数映射不是良定问题；更稳的 formulation 是"语义→检索→组合"。

### 2.5 红海警告（不建议投入的子问题）

- **VLM 分类 TTA 的"又一个熵/置信度/统计更新规则"**：TPT 之后 CVPR/NeurIPS 至少 20+ 个变体（C-TPT/MTA/TDA/DMN/OnZeta/BoostAdapter/DPE/StatA/R-TPT…），"Illusion of Progress"已点破其评估协议的游戏性。**除非引入新任务轴（视频/VQA/开放词汇）或新理论（贝叶斯/流形），否则纯分类刷分已卷死。**
- **LoRA/模型合并的"换插值策略刷标准 8-task 分"**：DO-Merging、OSRM、TC-LoRA、LOT 已经把"对齐/正交化/闭式解"这条路走到很挤，标准 vision 8-task 与 GLUE 上增量空间极小（点级差异）。**没有理论判据、没有新场景（无标签/回归/生成/跨模态/开放集）的合并 = 红海。**
- **经典图像 CL 的 prompt 池再迭代**（L2P/DualPrompt 在 Split-ImageNet 上加模块）：饱和，顶会已转向 LVLM 持续微调。
- **MoE-LoRA 的"加专家+负载均衡"架构再刷**：MoV/MoLA/MixLoRA/LLaVA-MoLE 已把这个设计空间走完一轮；除非路由层的**语义**（token 类别、漂移、可组合性）被重新建模，否则纯架构微调无新意。
- **蓝海判断**：无泄漏 LVLM-CL 基准定义（UCIT/TriGap 之后仍有长尾/开放词表/任务无关设置的空白）；VQA-视频-长尾 TTA；合并-持续-自适应的统一理论；LoRA 资产管理；可合并性预测。

## 3. 六个可扩展 Idea

### Idea 1：JBS（Joint-Basin Surrogate）——用 Fisher 加权闭式解把 LoRA 合并、持续学习、TTA 统一为"参数流形上的多目标最小二乘"

**一句话 Pitch**：在二次损失代理下，批处理合并 = 求解一个 Fisher 加权的闭式最小二乘，顺序持续学习 = 同一矩阵的卡尔曼式在线更新，测试时自适应 = 单步更新——一个公式、三种设置。

**切入的 Gap**：对应 2.4 Gap 1/2/3。AdaMerging 需标签+迭代训练；P&M (NeurIPS'25) 只做顺序凸组合（忽略任务间交互项）；LOT Merging (NeurIPS'25) 以特征漂移为代理（丢掉了损失二阶信息）；NSC (P64) 给经验信号但无理论。**没有任何方法给出"多任务同时合并 + CL 顺序 + TTA 在线"三合一的可计算最优解。**

**核心技术方案**：
- 输入：基座 θ₀、K 个任务适配器 {Δᵢ}（Δᵢ = θᵢ* − θ₀，按层分块）、无标签校准集 D_cal。
- 二次代理：Lᵢ(θ) ≈ Lᵢ(θᵢ*) + ½(θ−θᵢ*)ᵀ Hᵢ (θ−θᵢ*)，Hᵢ ≈ diag(样本 Fisher)，只依赖前向激活，**label-free**。
- 合并目标：min_λ Σᵢ wᵢ (θ(λ) − θᵢ*)ᵀ Hᵢ (θ(λ) − θᵢ*)，θ(λ)=θ₀+ΣⱼλⱼΔⱼ。这是 λ 的凸二次型，闭式解 Gλ=b：
  G_{jk} = Σᵢ wᵢ Δⱼᵀ Hᵢ Δₖ（对角 Fisher 下 = 逐元素加权内积，逐层块可并行），b_j = Σᵢ wᵢ Δⱼᵀ Hᵢ Δᵢ。
- 三种设置统一调度：
  - **合并（批处理）**：一次性解 Gλ=b，输出 θ_merged。对比 AdaMerging：无标签、无梯度、可证最优（代理下）。
  - **持续学习（顺序）**：维护运行中的 G、b（累加 Fisher），任务 t+1 到达时做在线最小二乘更新（卡尔曼滤波结构）；**遗忘控制 = 用旧任务 wᵢ 恒等保留**，等价于"无显式回放的回放"。可加平坦度正则：限制 ‖θ−θᵢ*‖_{Hᵢ} 增长（吸收 C-Flat/P&M 的扰动技巧，且我们证明了它与 P&M 的 α* 公式在单任务凸组合时退化一致）。
  - **TTA（在线）**：每个 batch 估计漂移 d = 当前 θ − θ₀ 的小量更新，仅更新"当前任务分量"的 λ（单步 Fisher 加权），与 UL-TTA 的 logit 级贝叶斯更新精神一致但作用在全参数层。
- 理论交付：(a) 代理下合并解的唯一性与误差上界；(b) 证明 LOT 的特征漂移目标是我们代理在 H=Identity 情形下的特例（统一归因）；(c) 遗忘上界 ≤ 顺序合并误差 + Fisher 交叉项（连接 P67 的"路由/知识漂移"叙事）。
- 关键设计：wᵢ 用无标签自洽度估计（如 zero-shot 置信度中位数）而非人为设定；分层块对角求解避免大矩阵求逆。

**为什么新颖**：审稿人最可能说"这是 AdaMerging 的闭式版 / P&M 的批处理版"。反驳：(1) AdaMerging 没有 label-free 变体且需迭代优化，我们的闭式解在**代理下可证最优**且给出误差上界——AdaMerging 没有理论；(2) P&M 只处理"上一个模型 + 新任务"的凸组合，**丢弃了任务间交叉项 G_{jk} (j≠k)**，我们在全耦合矩阵上同时解 K 个任务；(3) **三种设置的统一是新的贡献本身**——没有一个现有工作把合并/CL/TTA 放进同一目标函数和同一张主表里。

**实验方案**：
- 数据集：合并——ViT-B/32 与 ViT-L/14 的 8-task 标准集（SUN397/Cars/Resisc/DTD/EuroSAT/SVHN/GTSRB/MNIST，即 TA/TIES/LOT 用的协议）+ DomainNet(6 域) + Office-Home(4 域)；CL——Split-ImageNet(10 tasks, Class-Incremental)、DomainNet 按域（Domain-Incremental）；TTA——ImageNet-C(15 损坏×5 强度)、ImageNet-R、WILDS-FMoW。可选 LLM 侧：LLaMA-3-8B 4 个 GLUE 风格 LoRA 做 sanity。
- Baselines：合并——Task Arithmetic、TIES、DARE、AdaMerging（label upper-bound）、LOT Merging、DO-Merging、NSC；CL——P&M、InfLoRA、DualPrompt、EWC；TTA——TENT、TPT、StatA、UL-TTA。
- 主表（合并）：行=方法，列=8-task avg / 单任务保留率 / 是否需要标签 / 求解时间。CL 表：Avg acc / Last acc / BWT。TTA 表：各域 acc / ECE。
- 消融：(a) H=对角 Fisher vs 单位阵 vs K-FAC 块（证明 Fisher 项贡献）；(b) wᵢ 估计方式（无标签自洽 vs 均匀 vs oracle）；(c) 分层块大小；(d) 校准集规模 512/2k/8k（无标签协议的红线）。
- 分析实验：G 矩阵可视化（任务间交叉项热力图→解释"哪些任务能合"）；λ 解随任务数增长的行为；合并解与 flatness 的相关性（连接 C-Flat）。
- 指标：平均 acc、单任务保留率、BWT、ECE、求解耗时、label-free 程度。

**8×L40 可行性**：主 backbone ViT-L/14（或 B/32）。LoRA 训练 8 任务 ≈ 8×1 GPU·h；Fisher 估计 16k 图 ≈ 3 GPU·h；合并/CL/TTA 全在推理级。LLaMA-3-8B sanity 用 QLoRA（每任务 ~8 GPU·h）。**总计 <250 GPU·h，8 卡 1 天内跑完。** 无风险项；若想加 K 个任务到 20+，也只是线性加时。

**风险与退路**：最大风险——二次代理在大模型上偏差大，闭式解可能打不过 AdaMerging 的实证结果。退路：(1) 主贡献降级为"label-free 合并协议 + 三设置统一表"，闭式解作为第一档基线；(2) 若 Fisher 估计不稳，改用 K-FAC 或降噪的"任务向量协方差"替代（仍闭式）。即便实证仅打平 AdaMerging，"统一视角 + 无标签 + 理论误差界"也足以中稿。

### Idea 2：Adapter-OS——面向个人研究者的 LoRA 资产管理协议（检索/组合决策/去重/压缩）

**一句话 Pitch**：把"几十个散落 LoRA 怎么组织、该合谁、怎么合"变成一套带几何指纹的 label-free 协议 + AdapterBank 基准，让 8×L40 型研究者把适配器当资产而非文件。

**切入的 Gap**：对应 2.4 Gap 2/6。mergekit 只管"怎么合"；LoRAHub/LoRA-Flow 只解决"给定一组怎么赋权"；没有任何系统回答"从 N 个适配器里选哪 k 个、用何种策略、要不要先去重"。

**核心技术方案**：
- **指纹提取**（每个适配器，离线一次）：(a) 任务向量 ΔW 每层 top-k 右奇异子空间；(b) **零空间压缩率**（复用 P64 信号，作为"任务独特性"标签）；(c) 在共享 2k 张多样校准集（ImageNet-val 子集+VTAB 混合）上的逐层激活均值/方差（激活签名）；(d) 若有任务描述文本，取文本嵌入。
- **检索**：新任务给 few-shot 无标签样本 → 激活签名 → 与库内指纹做加权最近邻（子空间余弦 + 激活距离），输出 top-k。
- **组合决策规则（label-free，几何驱动）**：对检索出的适配器对，算主夹角（principal angles）重叠度 ρ。ρ>0.9 → 视为同任务，去重/平均；ρ<0.3 → 视为正交，直接求和（Task Arithmetic 合法域）；中间 → 每层按"共享子空间投影合并 + 任务特异子空间保留"（即对 Δ 做 block-diagonal 共享/专属分解再合并）。
- **压缩**：给定 rank 预算 R，对选定的适配器组做联合低秩近似（joint SVD / CP 分解，类似 TC-LoRA 与 Compress-then-Merge），rank 按奇异值能量分配。
- **基准 AdapterBank**：40-60 个公共 LoRA（ViT-B/32：VTAB 11 任务 + DomainNet 6 域 + Office-Home 4 域 + 10 个 HF 实际 LoRA；LLM 侧 4 个 LLaMA-3-8B QLoRA）。四个协议：A 检索 hit@k（对 oracle 微调的新任务）；B 组合准确率 vs 上界（AdaMerging 用标签）；C 去重节省率；D 压缩率-准确率曲线。

**为什么新颖**：审稿人可能说"就是 benchmark + 简单检索"。反驳：(1) 指纹的**几何组合决策规则**（按重叠度切换平均/求和/投影合并）是新的——现有工作要么固定一种策略，要么用标签学权重；(2) 零空间压缩（P64）首次被用作"任务独特性/去重"判据；(3) 填补"检索→组合→压缩"全链条空白，同时给出统一的 label-free 评估协议（对应 Gap 2）；(4) 2026 时机：LoRA 资产爆炸与 mergekit 的流行让"该合谁"成为真实痛点，审稿人自己的实验室就有这个问题。

**实验方案**：
- 数据集：上述 AdapterBank；协议 A 的"新任务"从 VTAB/DomainNet/Office-Home 留出集构造。
- Baselines：随机/全部合并、KNN-仅激活、KNN-仅文本描述、LoRAHub（组合）、mergekit 默认策略（SLERP/TIES）；oracle = 每个新任务单独微调。
- 主表：协议 A——检索 top-1/5 hit + 检索后组合 acc；协议 B——组合 acc vs oracle-merge 的差距（label-free gap）；协议 C——去重后参数节省；协议 D——压缩比×准确率曲线。
- 消融：(a) 指纹各部分（子空间/激活/零空间压缩/文本）的独立与联合贡献；(b) 决策阈值 ρ 敏感性；(c) 校准集规模 512/2k/8k；(d) 压缩 rank 分配策略（能量 vs 均匀）。
- 分析/可视化：指纹空间的 t-SNE（展示同域适配器成簇、域间正交）；组合决策正确率 vs oracle 决策的混淆。
- 指标：hit@k、组合 acc、label-free gap、存储/时间节省。

**8×L40 可行性**：50 个 ViT-B/32 LoRA ≈ 50×0.5 GPU·h ≈ 25-50 GPU·h；指纹提取 ≈ 20 GPU·h；合并评估语料 ~150 次合并 × 5-10 min ≈ 20 GPU·h；4 个 LLM LoRA（QLoRA）≈ 35 GPU·h。**总计 ~120-150 GPU·h，1 天内完成。** 全部可并到 8 卡；单卡也能跑（只是慢 8 倍）。

**风险与退路**：最大风险——组合决策规则在真实 LoRA 上比不过"labels 微调权重"。退路：(1) 把 AdapterBank + label-free 协议本身作为贡献（评测协议是 Gap 2 的直接答案），决策规则作为第一档基线；(2) 若 LLM 侧成本高，砍到 2 个 LLM 适配器只做 sanity。

### Idea 3：TVAC——Test-time Answer-Consistency Adaptation（VLM 的 VQA/长尾/视频测试时自适应）

**一句话 Pitch**：把 VLM 的 TTA 从分类推进到开放问答：用"答案在视觉扰动下的自洽性 + 答案分布熵 + 文本锚"作为无监督信号，在线适配一个视觉塔 LoRA，覆盖 VQA 域偏移、长尾答案与视频问答。

**切入的 Gap**：对应 2.4 Gap 4 与 2.5 红海警告。分类 TTA 已卷死；生成式 VQA/视频的 TTA 是真空——没有熵信号、没有偏移协议。TTW (arXiv'25) 是极少数 MLLM 测试时热启动先例，但依赖弱监督辅助任务；ConDA (P84) 只做视频 cache 无梯度。**我们给出第一个面向生成式答案的自洽性 TTA 信号。**

**核心技术方案**：
- 设定：流式测试样本（图+问题，无答案），分布相对训练域有偏移；目标是"域级"在线适应（每域 1 epoch 小步），可选 per-instance 模式。
- **信号 1（答案自洽性）**：对每个测试样本做 m 个视觉扰动（crop/flip/color），temperature 采样 k 个回答 → 计算自洽分 s = 平均语义相似度（答案嵌入余弦 / ROUGE-L）。直觉：域偏移越大，扰动下的答案越不稳定。
- **信号 2（答案分布熵）**：对 top-1 回答的 token 序列熵（或对"答案 ID"分布熵，若可枚举）；熵最小化抑制"胡说"。
- **信号 3（文本锚正则，复用 P82 洞察）**：用冻结 CLIP 文本编码器编码问题，约束适应前后问题嵌入不漂移：L_anchor = KL(q_emb^t, q_emb^0)。防止 TTA 把问答模型带跑偏。
- 总损失：L = −α·s + β·H(answer) + γ·KL_anchor，仅更新视觉塔（或 connector）上的 LoRA。
- 关键设计：**用语义相似度而非字面匹配算自洽**（答"dog"/"puppy"算一致）；**置信度门控**（自洽度>阈值的样本才参与更新，防噪声累积）；长尾处理：按答案频率加权更新（低频答案类样本上采样其一致性约束）。
- 与分类 TTA 的 delta：不是"熵最小化"照搬——生成式答案熵最小化会坍缩为"我不知道"，我们用**自洽性为主、熵为辅 + 文本锚**，并给出"自洽性-正确性相关性"分析作为机制证据。

**为什么新颖**：审稿人可能说"就是 TTT/自监督旋转换到 VQA"。反驳：(1) TTT 用的自监督代理（旋转/对比）与目标任务无关，我们是**目标任务内的自洽性**（答案一致性），信号与任务直接相关；(2) 分类 TTA 的熵信号在生成任务上不成立，我们是**第一个系统化处理"生成式答案 TTA"信号设计的**；(3) 文本锚（P82 迁移）是新增的防漂移机制，TTW 没有；(4) 同时覆盖 VQA 偏移、长尾、视频三个从未被 TTA 触及的任务轴。

**实验方案**：
- 数据集（全部公开）：VQA 域偏移——VQA-CP v2（训练 VQAv2 测 VQA-CP）、VizWiz（图像质量偏移+不可答）；长尾——VQA2.0 低频答案 split 与 A-OKVQA 稀有概念；视频——MSVD-QA / MSRVTT-QA（构造视频损坏：加噪/雨纹/运动模糊，类似 ST2ST 的协议）；GQA-OOD。
- Baselines：zero-shot（LLaVA-1.5-7B / Qwen2-VL-7B）、TTW、分类 TTA 迁移（TPT 用 top-1 答案熵）、自监督 TTT 代理、per-domain supervised oracle（LoRA 在测试域标注上微调，上界）。
- 主表：方法 × {VQA-CP, VizWiz, GQA-OOD, 长尾 VQA, MSRVTT-C}，指标 acc / 答案级 ECE / 不可答率。
- 消融：(a) 三信号各自/组合贡献；(b) 置信度门控阈值；(c) LoRA 位置（视觉塔 vs connector）与 rank；(d) 域级 vs 实例级；(e) 文本锚系数 γ。
- 分析实验：**"扰动自洽性-答案正确性"散点与相关系数**（说服审稿人信号成立）；适应前后问题嵌入漂移量；长尾类别上的逐类增益。
- 评价：acc + ECE + 不塌缩稳定性（长流 50k 样本监控）。

**8×L40 可行性**：主模型 LLaVA-1.5-7B / Qwen2-VL-7B，LoRA 仅视觉塔+connector，ZeRO-2 或单卡（7B bf16=14GB + LoRA + grad ckpt，batch 16 可单卡）。每域 ~2-3 GPU·h。主实验 10 域×2 骨干 ≈ 60 GPU·h；消融 ×3 ≈ 180 GPU·h；分析 ≈ 30 GPU·h。**总计 ~300-500 GPU·h，2-3 天。** 若砍到单骨干 + 少两个域，~150 GPU·h。

**风险与退路**：最大风险——自洽性信号在强域偏移下也不够强（答案全错但一致）。退路：(1) 主贡献降级为"生成式 TTA 的信号分析 + 协议"（什么样的信号在什么偏移下失效），这是 TTA 领域急需的实证；(2) 若 VQA 端效果弱，聚焦视频 TTA（ConDA 之后首个梯度型视频 TTA）。

### Idea 4：TRAS——Token-Routed Adapter Swarm：以"路由稳定性"为统一目标连接合并、持续学习与 TTA

**一句话 Pitch**：遗忘、干扰、漂移是同一件事——token 被路由到了错误的知识源；把"路由稳定性"形式化为统一目标，用同一套 LoRA 专家群 + 一个可学习的路由器，分别实现"合并（路由即合并）、持续学习（加专家+惯性正则）、TTA（只调路由）"三种协议。

**切入的 Gap**：对应 2.4 Gap 3/5。P67 (CVPR'26) 诊断了 routing-drift 但只做 CL、只有经验正则；MoELoRA/SAME 做专家隔离但没有统一路由协议；LoRA-Flow/X-LoRA 做 token 级路由但只做静态组合；**没人把路由作为合并/CL/TTA 三者的公共控制变量并给出遗忘的理论上界。**

**核心技术方案**：
- 架构：冻结基座 + 每层（或隔层）一组 LoRA 专家 E={e₁..e_N} + 轻量 router r（输入隐状态→专家分布）。
- **统一目标**：L = L_task + β·L_balance + λ·L_inertia，其中 L_inertia = KL(r_t || r_{t-1})（在"旧类 token"上）。理论主张：**遗忘 ≤ E_t[KL(r_t||r_{t-1})]（路由漂移项）+ 专家间干扰项（Fisher 交叉）**——把 P67 的经验发现提升为可证界。
- 三种协议：
  - **持续学习**：新任务 → 加 1-2 个专家 + 只训 router 与新专家；在"旧类/模糊 token"（用路由置信度判别）上施加 L_inertia。与 P67 的 delta：P67 把模糊 token"推离"新专家（离散决策），我们用 KL 惯性连续惩罚路由**变化量**，更平滑、可微、可证明。
  - **合并**：把已训练好的任务适配器作为"专家"载入，冻结，只在无标签混合校准集上训练 router（学习"哪个 token 该走哪个专家"）。**合并 = 训练一个路由器，而非插值权重**——干扰被路由天然消除（任务 A 的 token 不进任务 B 的专家）。对比 TA/TIES/DO：不需要权重层面的调和。
  - **TTA**：测试时**只更新 router**（参数极少、无骨干反传）：熵最小化 + 对初始 router 的惯性正则。这给出 VLM 分类/视频的 router-level TTA。
- 关键设计：专家条件化（每个任务/域训练时用 router 区分，避免专家功能重叠）；冷启动用分组初始化（复用 TAS-LoRA 的 insight）；负载均衡防坍缩。

**为什么新颖**：审稿人可能说"MoE + CL + 正则的拼装"。反驳：(1) **统一主张是机制级**的：给出"遗忘/干扰/漂移 ≈ 路由漂移"的统一界，三协议共享同一目标函数和同一训练后资产；(2) 合并的"路由即合并"是新的——现有合并没有"训练路由器代替调权重"这个选项，且它天然 label-free（路由器只需无标签校准集）；(3) 每个协议都对应明确的理论/实证问题（界、路由收敛、TTA 稳定），不是三篇 work 的简单拼接。

**实验方案**：
- 数据集：CL——CoIN / UCIT（LVLM 持续指令微调，LLaVA-1.5-7B），TriGap 可选；合并——4-8 个任务适配器（vision 用 ViT-L/14 8-task 协议，或直接用 CL 训好的专家），评测多任务合并平均 acc；TTA——ImageNet-C/R（分类）与 MSRVTT-C（视频，可选）。
- Baselines：CL——P67/Llava-DyMoE、MoELoRA、SAME、HiDe-LLaVA；合并——TA/TIES/DO-Merging/LoRA-Flow；TTA——TPT/UL-TTA。
- 主表：CL 表（Avg/Last/BWT）+ 合并表（8-task avg）+ TTA 表（acc/ECE），**一张总表展示统一性**。
- 消融：(a) L_inertia 权重与作用于哪些 token（旧/模糊/全部）；(b) 专家数/rank/层位；(c) 合并时 router 训练数据量（512/2k/8k）；(d) TTA 时 router-only vs router+专家微调。
- 分析：**验证遗忘上界**（画 KL(r_t||r_{t-1}) 与实测遗忘的散点）；路由混淆矩阵（哪个域的 token 进了哪个专家）；TTA 前后路由熵变化。
- 指标：Avg/Last/BWT、合并平均 acc、TTA acc/ECE、路由熵、训练耗时。

**8×L40 可行性**：LLaVA-1.5-7B + MoE-LoRA（8 专家、rank 8、仅 FFN）。显存：7B bf16 14GB + 专家 ~0.6GB + router 微量 + ZeRO-2 + grad ckpt，batch 8/卡 × 8 卡。CL 主实验 CoIN+UCIT ≈ 14 任务 × ~8-12 GPU·h ≈ 120-170 GPU·h；合并协议 ≈ 20 GPU·h；TTA ≈ 30 GPU·h；消融 ×3 ≈ 300 GPU·h；TriGap 若加 ≈ +150 GPU·h。**总计 ~500-700 GPU·h（不含 TriGap），3-4 天；上限加 TriGap ≈ 900 GPU·h。** 在预算内，但这是六个 idea 中最重的，需严格 1 epoch/任务、rank 8。

**风险与退路**：最大风险——三协议各自都做不深，被审稿人认为"样样通样样松"。退路：(1) 聚焦 CL+合并两协议（TTA 作为延伸实验），把"路由即合并"做扎实；(2) 若上界证明受阻，转为"经验研究：路由漂移是遗忘/干扰的统一解释"（分析类，仍高价值，对应 Gap 5）。

### Idea 5：Mergeability Prediction——定义"可合并性"为适配器的可预测属性（新问题定义）

**一句话 Pitch**：把"合并效果好不好"从"试了才知道"变成"可预测、可打分、可调度"：用几何/统计特征预测任意 LoRA 组合的合并质量，并给出第一个带实测结果的可合并性基准 MergeEval。

**切入的 Gap**：对应 2.4 Gap 1/2。LEEP/LogME 预测"迁移性"有先例，但**没有"合并性"预测**；NSC (P64) 的零空间压缩、LOT 的特征漂移、OSRM 的正交性都是"事后/训练中"信号，没人把它们统一成一个**事前可计算的合并性度量**，更没人验证"预测值"与"实测合并结果"的相关性。

**核心技术方案**：
- **新任务定义**：给定适配器库 {Aᵢ} 与候选合并配置 C（哪些 A 参与、用什么方法、系数），预测 merge 质量 Q(C) ∈ [0,1]（归一化到单任务最优的相对性能），无需跑合并、无需标签。
- **特征集**（对每对/每组适配器提取）：(a) 任务向量子空间重叠（主夹角）；(b) 逐层幅度方差（DO-Merging 归因）；(c) 零空间压缩率差（P64 信号）；(d) 无标签校准集上的激活距离（LOT 的轻量版）；(e) 任务向量稀疏度（DARE 动机）；(f) LMC-drop：沿插值路径 3 个点的 zero-shot 自洽度（只测不自证）。
- **预测器**：在**自造语料**上训练——我们先用 30 个适配器（ViT-B/32：VTAB 11 + DomainNet 6 + Office-Home 4 + 9 个 HF 真实 LoRA）跑 ~100 个两两/三元合并（TA/TIES/DO 各一遍，Oracle 用 AdaMerging 定上界），得到 (特征, 实测 Q) 语料 → 训练轻量 GBDT/MLP。**关键主张：几何特征足够跨任务泛化**（用留出任务组验证，而非随机分割）。
- **应用**：(a) 适配器选择（给新任务从库中选"合并后会更好"的子集）；(b) CL 调度（每步判断"是加专家还是合并已有适配器"——直接连接 Idea 1 的 λ 求解，用预测值做先验）；(c) "合并风险"预警（输出 low-confidence 配置）。
- 交付物：MergeEval 基准（30 任务 × 100+ 配置，全部实测）、可合并性分数、预测器、三项应用的评估。

**为什么新颖**：审稿人可能说"这是 benchmark paper / 相关性分析"。反驳：(1) 这是**新的学习任务**（预测合并性），不是 benchmark 壳子——预测器 + 泛化验证是方法贡献；(2) 现有合并论文都假设"合并配置给定、效果事后评估"，我们把评估**前移到选择阶段**，改变工作流；(3) 统一了 NSC/LOT/DO 三个互不连通的几何归因到一个可学习映射里（理论归因的实证综合）；(4) 三项应用（选择/调度/预警）证明预测值有下游用途，不只是"报个相关性"。

**实验方案**：
- 数据集：MergeEval（如上）；留出协议：按**任务组**（如整个 VTAB 留出）验证跨组泛化；新任务应用场景用 DomainNet 留出域。
- Baselines：单一几何信号（各特征单独预测）、zero-shot 组合规则（重叠度规则，来自 Idea 2）、随机、以及"实测即测"（跑合并的上界 oracle）。
- 主表：预测任务——MAE / Spearman ρ / rank-1 命中率（预测 top 配置是否真最优）；应用任务——选择后合并 acc vs 全合并 vs oracle 选择。
- 消融：(a) 特征消融（哪个几何信号贡献最大）；(b) 训练语料规模（20/60/100 配置）；(c) 跨任务组 vs 组内泛化；(d) 预测不确定度校准（能不能当预警用）。
- 分析：预测误差 vs 任务相似度的关系；错误模式（什么配置被高估）；特征相关性矩阵。
- 指标：Spearman ρ、MAE、rank-1 hit、选择提升的 acc。

**8×L40 可行性**：30 个 ViT-B/32 适配器 ≈ 20-30 GPU·h；100+ 合并配置评测（每次几分钟前向）≈ 15 GPU·h；特征提取 ≈ 10 GPU·h；预测器训练可 CPU/单卡。**总计 <100 GPU·h，不到 1 天。** 可选 LLM 侧（GLUE 4 适配器 + 6 配置）≈ +30 GPU·h。

**风险与退路**：最大风险——跨任务组泛化差（预测器只在训练组内有效）。退路：(1) 降级为**大规模实证分析**："什么让 LoRA 好合并——30 任务 × 100 合并的系统研究"，带相关性矩阵与决策规则，这类实证研究本身可发且被引用（对应 Gap 1 的经验侧）；(2) 预测器只做两两对（pairwise）降低难度，三元留作延伸。

### Idea 6：TTCVE——Test-Time Continual Vocabulary Expansion（VLM 的测试时持续词表扩展）

**一句话 Pitch**：测试流里出现当前词表外的类别时，用"冻结文本编码器锚定的伪原型外推"在测试时发现、构造并融入新类别，同时防遗忘——把分类 TTA、开放集检测与 class-incremental 在 VLM 上首次合并。

**切入的 Gap**：对应 2.4 Gap 4 与开放世界 TTA 萌芽（ROSITA/SegAssist 都要求"提前预置类别/增量类"）。**没有工作允许"测试时新类别持续出现且无标注"**：增量 TTA（ITTA）要么有 oracle 标注（SegAssist 主动查询），要么新类特征银行不可扩展（ROSITA）。且现有 open-world 工作全是分类，没有用上 CLIP 的文本锚。**P82 的"文本锚"洞察在这里换了个用途：锚不是防遗忘，而是构造新类原型。**

**核心技术方案**：
- 设定：CLIP（ViT-B/16 与 ViT-L/14）；测试流逐步到达，部分样本属于词表外新类（连续出现）；模型须（a）检测新类（b）构造其文本原型（c）在线吸收且不遗忘旧类。
- **(a) 新类检测**：max-logit + 熵在现词表上超阈值 → 候选新类；再加**时间一致性**（同一簇反复出现才升级为新类）抑制噪声。
- **(b) 伪原型构造（text-anchored）**：用已知类建立"视觉原型→文本原型"的线性映射 M（最小二乘，M = T_known · V_known⁺，V⁺ 为伪逆）；新类聚类质心 v_new → t_new = M·v_new 作为新类文本嵌入。**关键机制：M 由冻结文本编码器锚定，跨域稳定**（复用 P82 的核心观察）；且 M 可增量更新（在线最小二乘）。
- **(c) 在线吸收与防遗忘**：把 t_new 并入分类器；视觉塔加小 LoRA，用扩大后的词表做熵最小化；**防遗忘 = 对旧类原型做蒸馏正则**（旧类文本嵌入适应前后一致，KL 约束）——文本锚又作为"旧知识保险丝"。
- 可选增强：分割辅助精化簇种子（复用 SegAssist 思路但不查 oracle）。
- 关键设计：M 的更新频率与稳定性权衡；新类置信度阈值；LoRA rank 极小（8）。

**为什么新颖**：审稿人可能说"是 ROSITA + iCaRL 的组合"或"分类 TTA 换个壳"。反驳：(1) ROSITA/SegAssist 均需**预置已知类集或 oracle 标注**，我们的新类发现与原型构造完全无监督且**用文本锚线性外推**（它们没有利用 CLIP 的视-文线性结构）；(2) 测试时**持续**（类陆续出现）而非单次检测，是 TTA 与 class-incremental 的真正交汇（两者文献互不引用的真空）；(3) 防遗忘用"文本锚蒸馏"而非回放/参数正则，机制不同；(4) 首次把"P82 文本锚"从终身 ReID 迁移到测试时开放词表，跨子方向复用本身是卖点。

**实验方案**：
- 数据集：ImageNet-R/A/Sketch（构造"词表隐藏 20% 类、测试流中陆续出现"的 split）、ImageNet-val 做对照组、DomainNet（域+新类同时偏移）、WILDS-FMoW（新用地类别随时序出现，真实增量场景）、可选 generalized zero-shot（ImageNet-21k 新类）。
- Baselines：zero-shot CLIP、TPT/C-TPT（无法处理新类，需改造成"未知→拒绝"）、ROSITA、SegAssist（ITTA 带 oracle）、CODA-Prompt 式增量学习（训练域微调再测试）、以及"上界"（新类标注可用时）。
- 主表：方法 × {ImageNet-R open, ImageNet-A open, DomainNet open, FMoW}，指标 = 已见类 acc / 新类检测 AUROC / 新类 acc / 遗忘（旧类 acc 下降）。
- 消融：(a) 检测阈值与时间一致性窗口；(b) M 的线性假设（换成 MLP 外推 vs 直接聚类质心做文本嵌入的对比——证明线性映射的必要性）；(c) 防遗忘蒸馏权重；(d) LoRA rank/位置。
- 分析：新类原型与真值的文本余弦（原型质量）；随测试流长度（10k/50k）的性能曲线；类增量数量 vs 性能衰减。
- 指标：如上 + 平均每个新类召回所需的样本数。

**8×L40 可行性**：纯 CLIP 推理 + 小 LoRA + 最小二乘，几乎不耗训练。两骨干 × 5 基准 × 消融 ≈ **80-150 GPU·h，1-2 天**。可完全单卡。

**风险与退路**：最大风险——线性外推的新类原型质量在类间相似度高时崩。退路：(1) 主贡献降级为"新类检测+伪原型"的 few-shot 开放世界分类器（单独成文）；(2) 若持续增量不稳定，固定"单次开放集 TTA"设定（收敛到 ROSITA 但方法不同），稳定性问题放到 long-stream 分析节说明。

## 4. 优先级建议

| Idea | 类型 | 新颖度 | 工作量(GPU·h) | 风险 | 8×L40 契合度 | 推荐投稿目标 | 启动顺序 |
|---|---|---|---|---|---|---|---|
| Idea 3 TVAC（VQA/长尾/视频 TTA） | 低-中风险 | 高（新任务轴） | ~300-500 | 中 | 极契合（单卡可跑） | CVPR/ICCV | **1** |
| Idea 2 Adapter-OS（LoRA 资产管理） | 低风险 | 中-高（新协议） | ~150 | 低 | 极契合 | CVPR/ICLR | **2** |
| Idea 5 Mergeability 预测 | 新问题定义 | 高 | <100 | 中-高 | 极契合 | NeurIPS/ICLR | **3** |
| Idea 6 TTCVE（测试时词表扩展） | 低-中风险 | 高（新设定） | ~100-150 | 中 | 极契合 | CVPR | **4** |
| Idea 1 JBS（统一理论） | 高风险高回报 | 极高 | <250 | 中 | 契合 | NeurIPS/ICML/ICLR | 5 |
| Idea 4 TRAS（路由稳定性统一框架） | 高风险高回报 | 极高 | ~500-900 | 高 | 契合但最重 | CVPR（oral 候选） | 6 |

**建议路径**：先做 Idea 3 + Idea 2 两篇"稳稿"（2-3 个月，总 GPU·h <700）；再冲 Idea 1 或 Idea 5 中的一篇作为统一理论/新任务稿；Idea 4 是 oral 野心选项，放到算力与团队都齐备时启动（严格控预算：rank 8、1 epoch、单骨干）。六个 idea 在 8×L40 上全部可落地，且至少 4 个是"单卡-双卡即可完成主实验"的轻量型。