# M10｜鲁棒视觉感知：检测/跟踪/分割/复原（UAV、事件相机、域自适应）

## 0. 方向速览

本方向解决"感知系统在真实恶劣条件下的可靠性"：UAV 平台在强自运动/多传感器/资源约束下的检测与跟踪，事件相机对帧式视觉的互补，域自适应在跨天气/跨传感器时的泛化，以及复原/不确定性如何支撑下游感知。核心矛盾是：**泛用模型在受控分布上刷榜已经饱和（VisDrone 等），而部署真实系统所需的多模态、资源约束、失败预警、时间对齐这些"工程性难题"尚未被系统研究**。卡点在于：数据稀缺（多模态 UAV、事件-文本配对）、评测与真实回报脱节（PSNR 与 mAP、mAP 与可部署性）、以及缺乏带统计保证的可靠性信号。

---

## 1. 论文逐篇评析

### [P12] Tri-Modal Fusion Transformers for UAV-based Object Detection
- **核心贡献**：首个系统化的 RGB+热红外(LWIR)+事件三模态 UAV 检测框架；MAGE 门控交换 + BiTE 双向 token 级交换保持分辨率，配套 10,489 帧同步对齐三模态数据集（24,223 车辆框），61 组消融给出"融合深度影响最大、轻量 CSSA 变体收益成本比最优"的工程结论。
- **优点**：
  1. 首次把事件相机纳入 UAV 检测并做"模态子集 × 融合位置 × 融合机制 × backbone 容量"的交叉消融，工程证据密度高。
  2. BiTE 的 token 级双向交换是 resolution-preserving 的，避免 FPN 类降采样丢失小目标细节，对航空小目标场景设计有针对性。
  3. 提供公开对齐三模态数据，补上该方向数据缺失的瓶颈，后续研究可直接复用。
  4. 承认并量化了轻量变体与全量机制的收益差距，结论诚实可用。
- **不足**：
  1. 数据集类别单一（仅车辆）、规模远小于 VisDrone/UAVDT；三模态配准的"pre-aligned"精度（亚像素/亚毫秒？）未披露，若存在残余错位，消融结论可能被噪声主导。
  2. 检测头仍是两阶段范式，未与现代 SOTA（RT-DETR、YOLOv8 系）对比，方法的"通用性"声明缺支撑。
  3. 消融结论（CSSA 拿回大部分收益）实质上动摇了 BiTE 的必要性——审稿人会问：与"决策级 score 融合"这一最简 baseline 相比，MAGE+BiTE 的净收益是多少？
  4. 事件模态对 UAV 场景的边际价值论证不足：UAV 巡航多为白天慢速，事件"高速运动/高动态范围"优势在数据分布中未体现；夜间热红外已覆盖主要需求，事件新增信息未做可解释分析。
- **可延展信号**：三模态流的**时间对齐**被完全假设掉了（帧曝光 vs 事件时间戳），这是最直接可接的坑。

### [P13] RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding
- **核心贡献**：首个双流事件增强 VLM——并行 RGB/事件编码器 + 渐进式模态-语言对齐；用图驱动 pipeline 把 RGB-Event 流转为可验证场景图再合成 caption/QA，构建 PEOD-Chat 与 RGBE-Chat 数据集，在困难光照/高速条件下大幅超越同规模 RGB-only / event-only VLM。
- **优点**：
  1. 首次把事件模态接入 VLM，打开"事件相机 × 大模型"交叉，方向卡位早。
  2. 图驱动数据合成（场景图→caption→QA）比纯模板生成语义可控、可验证，缓解事件-文本监督极度稀缺的问题。
  3. 渐进式训练（先模态内对齐、再模态-语言对齐）的课程设计合理。
  4. 在低光/高动态范围等挑战性条件下增益显著，给出了事件模态"在 VLM 里到底补什么"的证据。
- **不足**：
  1. 仍假设帧-事件"同步"：事件是异步流，编码时的时间窗/体素化尺度选择未系统讨论，**时间对齐是明显缺口**。
  2. 合成数据管线到开放域的可泛化性未验证：场景图→QA 是否只是模板拟合？人工验证比例与错误分析缺失。
  3. Baseline 只对比"同参数量"的 RGB-only/event-only 小 VLM，未与更强通用 VLM（如 Qwen2.5-VL 级）或检测类模型对比；任务也局限在 caption/VQA，没有定位/检测任务，"scene understanding"名不副实。
  4. 双编码器参数量/推理成本翻倍，无效率分析；渐进训练的阶段切换准则（何时进下一阶段）无消融。
- **可延展信号**：事件与帧的**时间对齐 + 异步融合**（体素时间窗选择可学习化）——与本清单 P12 的缺口互证，是冷门但有价值的点。

### [P17] Breaking Smooth-Motion Assumptions: DynUAV Benchmark for MOT
- **核心贡献**：提出 DynUAV——强自运动（剧烈尺度/视角变化、运动模糊）条件下的 UAV 多目标跟踪基准（42 序列、170 万框、含特种工业类别），系统评估 SOTA tracker 并揭示"检测与关联在动态条件下耦合失效"。
- **优点**：
  1. 针对真实 UAV 机动（非平滑相机）补上了 VisDrone/UAVDT 的盲区，问题定义清晰（ego-motion 是独立于目标运动的扰动源）。
  2. 170 万框规模大，类别超出常见车/人（挖掘机、吊车），有工业价值。
  3. 给出 SOTA tracker 失败模式分析（检测-关联耦合），对社区有诊断价值。
- **不足**：
  1. 纯 benchmark 无方法贡献，价值依赖后续工作兑现。
  2. 评估只报 HOTA/MOTA 类整体指标，缺"跟踪失败根因分类"（丢检/ID 切换/漂移）与"重捕获延迟"等刻画复杂条件的专用指标。
  3. 与 UAVDT/VisDrone-MOT 的差异量化不足（相机运动谱、尺度谱对比），"打破平滑运动假设"的证据偏弱。
  4. 采集参数（飞行高度/速度/云台模式/传感器）披露若不全，他人复现与公平对比困难。
- **可延展信号**：需要"自运动补偿 + 运动模型自适应"的关联模块，以及检测置信度与运动先验的联合建模——可与我们的 Idea 4（失败预警）结合。

### [P19] UAST: Unified Active Search and Tracking
- **核心贡献**：mapping-free 的 UAV 主动搜索+跟踪统一框架：双分支感知（检测+定位）耦合 Rule-Based Point Search 策略在"跟踪/搜索恢复"间切换，轻量控制网络生成可行轨迹；配套 tracking-aware visibility loss 与针对性数据构建，仿真+真机验证。
- **优点**：
  1. 首次把"搜索-恢复-跟踪"做成闭环，承认两者的强耦合（现有工作分开做）。
  2. Rule-based 搜索策略避免了端到端强化学习的大规模数据需求，跨目标/跨场景泛化好。
  3. visibility loss 直接把"目标是否可见"建模进优化目标，与任务语义对齐。
  4. 模块解耦（感知/策略/控制），工程可实现性高，真机结果加分。
- **不足**：
  1. 规则策略的"自适应"有限：目标剧烈加减速、高杂乱场景下固定规则可能失效；无策略参数敏感性分析。
  2. 整个闭环依赖检测器，检测失败时错误沿感知→搜索→控制传播，但论文未讨论失败模式与恢复机制。
  3. 仿真真实性未量化（sim-to-real gap），真机实验规模小，轨迹生成质量无客观指标。
  4. 控制网络与感知是分开训练，缺乏端到端收益的消融（"统一"是架构上的还是优化上的？）。
- **可延展信号**：把**感知不确定性**反馈进搜索策略（置信度驱动的主动感知）——与 Idea 4 的信任信号直接相关。

### [P20] TerraSeg: Self-Supervised Ground Segmentation for Any LiDAR
- **核心贡献**：首个自监督、传感器无关的 LiDAR 地面分割：OmniLiDAR 聚合 12 个公开基准、15 种传感器、~2200 万扫描；PseudoLabeler 通过逐扫描自监督运行时优化生成无标注伪标签；在 nuScenes/SemanticKITTI/Waymo 上无人工标签达 SOTA 且实时。
- **优点**：
  1. 数据工程是真正贡献：OmniLiDAR 的统一格式与传感器多样性，使"任意 LiDAR 泛化"成为可验证命题。
  2. PseudoLabeler 把人工标注成本归零，伪标签+自监督的范式干净、可规模化。
  3. 三个异构传感器基准上的无标签 SOTA 是硬证据，实时性达标。
- **不足**：
  1. 地面分割本身是低层任务，性能提升可能主要来自数据规模；与 Patchwork++ 等传统方法需按"精度/延迟/泛化/鲁棒性"多轴对比，若只报 F1 会被质疑增量。
  2. PseudoLabeler 本质继承 Chodosh 的平面拟合思路，对陡坡、多层地面、植被的**系统性误差会直接教进模型**——伪标签误差分布未量化。
  3. 未做端到端下游验证（地面分割对导航/占用预测的贡献）。
  4. **域泄漏风险**：SemanticKITTI 等评测集若同时存在于 OmniLiDAR 训练聚合中，跨数据集评估的公平性存疑，需逐一说明 train/eval 切分。
- **可延展信号**：把"伪标签 + 大规模多源数据"范式迁移到其他单类分割（可通行区域、负障碍、地面不确定性），或补下游验证。

### [P26] Attack for Defense: Adversarial Point Prompt Optimization for SAM
- **核心贡献**：对抗式 RL 框架优化 SAM 点提示——attacker 智能体学习"最大破坏分割的提示子集"，defender 学习抑制并恢复；推理时仅部署 defender，无需重训，即插即用提升 SAM 鲁棒性。
- **优点**：
  1. "为防御而攻击"视角与 adversarial training 一脉相承，双智能体 DQN 在提示空间对抗，自洽且有新意。
  2. dual-space graph（物理+语义距离）给提示环境注入结构先验，优于纯随机探索。
  3. 推理零额外成本（只部署 defender），plug-and-play，实用性强。
  4. 实证了 SAM 对 prompt 的敏感性（坏点诊断），本身有分析价值。
- **不足**：
  1. DQN 的状态/动作空间定义（patch 图上的提示子集）粒度与可行性交代不足；reward（segmentation quality variation）噪声大，缺训练稳定性曲线。
  2. 泛化存疑：attacker 发现的"坏点模式"可能只对自然图像特定尺度/类别有效，跨域（医疗/遥感）未验证。
  3. 与已有 prompt 优化（Plug-and-Play PPO (CVPR'25)、Self-Prompt SAM）缺少直接对比，delta 可能只剩"对抗目标函数"。
  4. 若提升仅 1-2 mIoU 且需多轮点，实用性论证不足；也缺"defender vs 简单删除最差提示"这个朴素 baseline——这是审稿人必问的。
- **可延展信号**：把"SAM 总失败的区域"作为可解释的难例信号，用于小目标/遥感场景的提示拒绝与重采样（与 Idea 6 可结合）。

### [P27] Visual Prototype Conditioned Focal Region Generation (UAVGen)
- **核心贡献**：面向 UAV 检测的 layout-to-image 生成框架：VPC-DM 用每类代表性实例构造 latent 条件生成高保真小目标；FRE-DP 聚焦前景区域 + 标签精修（修 missing/extra/misaligned），显著缓解小目标边界 artifact，稳定提升下游检测器。
- **优点**：
  1. 针对生成方法在"小目标边界 artifact"这一共性失败做了专门机制（原型注入+聚焦区域），击中航空域真实痛点。
  2. 标签精修诚实处理扩散生成的可控性问题，工程完整度高。
  3. 与不同检测器集成一致提升，通用性好。
  4. 是少数系统性做"生成数据辅助 UAV 检测"的工作。
- **不足**：
  1. 机制有效性论证不足：提升可能来自"样本变多"而非"原型条件"——缺同数量级随机生成 vs 原型生成的对照消融。
  2. 扩散采样成本高（每图多次去噪），数据管线总 GPU·小时未核算，对资源受限的 UAV 团队可复现性存疑。
  3. 与 LayoutDiffuse 等已有 layout-to-image 方法的边界/差异不清楚，缺直接 baseline。
  4. 只在饱和的 VisDrone 上报 mAP，未分析生成图质量与检测增益的相关性。
- **可延展信号**：原型条件扩展到热红外/事件模态；或生成数据与伪标签蒸馏构成闭环（与 Idea 1 互补）。

### [P47] DA-Mamba: Domain-Aware State Space Model for DAOD
- **核心贡献**：首个把 SSM/Mamba 引入域自适应检测：IA-SSM（backbone 图级全局对齐）+ OA-SSM（检测头实例级对齐，含 CLIP 类原型注入视觉 prompt），C→F 达 58.1 mAP，FLOP 仅为 transformer 基线的 53%、显存 40.8%。
- **优点**：
  1. 线性复杂度全局建模对 DAOD 是真实增量，且消融证明不是简单"换 Mamba"：vanilla Mamba 仅 +1.0~2.9%，DA-Mamba +5.8~6.8%。
  2. OA-SSM 把 CLIP 文本原型注入检测头，VLM 知识轻量化利用，方向聪明。
  3. 四个 benchmark（C→F、C→BDD、VOC→Clipart/Comic）覆盖天气/视角/风格三类偏移，证据面全。
  4. 效率-精度同时报告，数字清晰可复现。
- **不足**：
  1. 只在单阶段 YOLO-World 上验证，DETR/两阶段普适性未验证——方法声称通用但强依赖 Mamba 序列化与特定 head。
  2. CLIP 原型对 CLIP 覆盖不足的细粒度/长尾类别退化；文本 prompt 质量直接决定 OA-SSM。
  3. 目标域仅用伪标签（半监督），伪标签噪声直接进入实例 mask，缺对伪标签质量的鲁棒性分析。
  4. 实验规模小（batch=2），扫描方向对 2D 图像的影响未深挖，也未与 Mamba-2/VMamba 对比。
- **可延展信号**："域感知状态更新"思想可迁移到测试时适配（TTA）与多模态（RGB-热）域的 DAOD——我们 Idea 2 直接接这个。

### [P48] HierUQ: Hierarchical Uncertainty Quantification
- **核心贡献**：面向退化图像分层分类的统一不确定性框架：HUQ（label smoothing + proper scoring rules）量化分层不确定性；CAPA 在置信度不足时把预测回滚到更高层节点，抑制过度细分与误差传播；MLJO 自步多目标联合优化。
- **优点**：
  1. "细分不可靠就回滚到粗粒度"的粒度协调思想务实，契合自动驾驶/遥感的分级容错部署。
  2. proper scoring rules + label smoothing 有概率理论基础，优于拍脑袋阈值。
  3. ViT + 双注意力（bilinear + semantic-guided cross-attention）的语义注入设计具体。
  4. 退化遥感 + 自然图像双 benchmark，任务覆盖有区分度。
- **不足**：
  1. 与"hierarchical classification with abstention"的已有文献边界需更清晰；CAPA 实质是软式拒识，novelty 取决于形式化深度。
  2. 退化类型/等级被当作给定，缺"先检测退化→再选路径"的因果链；退化误判的误差传播未建模。
  3. **"不确定性量化"缺校准证据**：ECE、可靠性图未系统报告，只报 top-1——审稿人会直接质疑名不副实。
  4. 消融只做模块有无，缺回滚阈值敏感性分析与粒度收益-风险曲线。
- **可延展信号**：CAPA 的粒度回滚延伸到检测（框级置信→类别级回滚），与 Idea 4 的失败预警/信任信号直接互补。

### [P129] Hybrid Agents for Image Restoration
- **核心贡献**：把智能体范式引入图像复原：fast（轻量 LLM + ICL）+ slow（MLLM 指令微调做退化识别并调用工具）+ feedback 三层智能体路由，外加 mixed distortion removal 模式避免逐步复原的误差传播。
- **优点**：
  1. 首次系统化"工具调用式"复原（agent 决定用哪个复原工具），面向非专业用户交互，场景真实。
  2. fast/slow 分级路由在成本-效果上权衡，工程意识强。
  3. mixed distortion removal 针对级联误差传播这一真实缺陷，是方法层面真贡献。
  4. 指令微调数据（退化识别）设计具体，可复现。
- **不足**：
  1. agent 的"智能"主要是退化分类+工具选择，与 MLLM 推理能力耦合弱；工具库不扩展则天花板低。
  2. **路由错误传播未分析**：fast 何时误判需要 slow？无单独的路由准确率评测。
  3. mixed mode 与其他单任务工具冲突时（如去雾把雨当雾）无机制设计，可能只是又一个 multi-degradation 模型。
  4. 只报 PSNR/SSIM，无用户满意度/交互轮数/延迟/token 成本——agent 的核心卖点（交互效率）没量化。
- **可延展信号**：退化识别的不确定性（agent 拿不准时问用户或回退）——与 Idea 4/5 结合。

### [P137] BiProLoRA: Bilevel Prompt LoRA for Real Scene Recovery
- **核心贡献**：双层 prompt LoRA 适配生成式复原模型：自监督分布保真校准（calibrate autoencoding pathway 在任务无关真实分布上）提升纹理保真，再经超参优化的双层联合建模让 LoRA 与 Prompt 互补，实现合成→真实的可信适配。
- **优点**：
  1. "分布保真校准"把预训练生成模型的 autoencoding 通路在无标签真实分布上校准，思路干净且不依赖任务标签。
  2. 用 hyperparameter optimization 形式化 LoRA 与 Prompt 的协同，避免手工组合权重。
  3. 面向"未见过退化"的泛化目标有野心，契合真实场景。
- **不足**：
  1. 双层优化训练成本（内层外层的迭代开销）未核算，收敛性分析缺失。
  2. "真实场景"评测的数据来源与指标（PSNR/感知/无参考混用）不够统一，说服力被稀释。
  3. 与 LoRA 微调、ControlNet、DreamBooth 式适配的 delta 需要更精确的定位，双层可能是工程组合而非机制。
  4. 未与最近 diffusion 复原适配（如一步扩散真实退化）对比。
- **可延展信号**：校准→适配两阶段可复用到"检测器在部署域的自适应"（Idea 2 的 TTA 可借鉴其双层思想）。

### [P141] Toward Low-Cost Temporal Learning for UAV Tracking (LETL)
- **核心贡献**：提出 PPF（precision per FLOP）指标，公平比较时序学习组件的收益-成本；并给出低成本时序学习 LETL（代表性外观 token 持续传播+合并），集成进 one-stream 框架得 LETrack。
- **优点**：
  1. PPF 直面"性能提升来自时序学习本身还是更多输入/参数"的混淆，是方法论级贡献，对 UAV 部署有真实意义。
  2. token 传播+合并机制轻量克制，复杂度可控。
  3. 以 UAV 资源约束为第一动机，定位清晰。
  4. 即插即用进现有 one-stream 框架，集成成本低。
- **不足**：
  1. PPF 只含 FLOP，不含 latency/内存/带宽——UAV 端侧 FLOP 并非唯一瓶颈，指标完整性不足。
  2. 长时遮挡/目标消失时传播 token 的更新策略（记忆污染）未充分讨论；token 数与视频长度的扩展性未测。
  3. 对比的时序方法范围有限（未覆盖 transformer token-merging 类），公平性存疑。
  4. 只在 UAV123 类基准评估，未与 DynUAV 这类强自运动场景结合。
- **可延展信号**：PPF 扩展为"精度/latency/内存"多维效率指标，并应用到 DynUAV（强自运动）场景——与 Idea 1/2 结合。

### [P158] Small Object, Great Challenge: SoVG Benchmark
- **核心贡献**：首个小目标视觉定位（VG）基准 SoVG/RefCOCOs：MLLM 自动管线把 COCO 扩充为小目标 referring 数据（平均目标面积 1/50 图像，经典 VG 为 1/5），并提出 SoVG-Net 层级文本注入网络。
- **优点**：
  1. 填补小目标 VG 空白，问题定义清晰且量化了尺度差异。
  2. MLLM 自动管线构建 referring expression，成本低、可扩展。
  3. 给出 SoVG-Net 强 baseline，开箱可用。
- **不足**：
  1. MLLM 生成 expression 质量缺人工验证比例与错误分析；可能是"小物体名+位置"低难度模板。
  2. 基于 COCO 构建，到航拍/监控真实小目标场景的域迁移未验证。
  3. 基线不足（未对齐 Grounding-DINO/Osprey 类强模型），box IoU 阈值的指标游戏空间未讨论。
  4. "small"的绝对像素定义（<32px?）缺失，影响可复现与跨数据比较。
- **可延展信号**：SoVG 与开放词汇/边缘部署结合（航空小目标 referring）——Idea 6 直接受益。

### [P160] AgentDet: Shared-Blackboard Multi-Agent ZSOD/FSOD
- **核心贡献**：共享黑板多智能体框架统一 ZSOD/FSOD：Scout（搜索）/Pinner（打点）/Curator（策展）/Judge（裁决）四角色协作维护黑板与知识库，伪增量学习缓解遗忘，只训练 Judge（image encoder + LLM detection head）实现轻量微调。
- **优点**：
  1. 把多智能体协商引入检测增量学习，角色分工直观、模块化。
  2. 伪增量学习（pseudo-incremental）针对灾难性遗忘的思路合理。
  3. 只训 Judge 是刻意的轻量化 recipe，与"有限监督下泛化"的任务目标一致。
  4. 黑板+知识库的设计让可解释性增强（可审计中间状态）。
- **不足**：
  1. 智能体角色大量功能等价于"候选生成→筛选→打分"的自训练管线，"黑板"的信息论价值未被量化——机制 vs 流程的边界要更严格论证。
  2. 无"只训 Judge vs 全训"的消融，lightweight claim 不稳。
  3. ZSOD/FSOD 的 seen/unseen 划分若不当会造成数据泄漏；与 MM-OVOD、Grounding-DINO 微调、YOLO-World 的绝对差距未充分讨论。
  4. 四角色在 VOC/COCO 可行，扩展到长尾/高实例密度场景的可扩展性未验证。
- **可延展信号**：Judge 本质是"可信度仲裁"——让它输出证据化置信度而非硬判决，与 Idea 4 的不确定性量化融合。

---

## 2. 方向发展态势

### 2.1 技术演进脉络

**UAV 检测**：通用检测器（Faster R-CNN/YOLO）→ VisDrone 特化轻量变体（P2 高分辨率头、定制 FPN）→ 尺度专用范式（AI-TOD/SODA-D 基准 + NWD/nWD 类分布损失、Dim-CEM 类检测头）→ DETR 家族下放（STAIR-DETR 等）→ 数据合成辅助（diffusion layout-to-image，UAVGen）→ VLM/开放词汇交叉（Grounding-DINO/YOLO-World 在航空域零样本+知识蒸馏）。**每次转移都在解决"小目标特征丢失"与"标注成本"，但都引入了新问题：合成数据的分布偏置、开放词汇在航空域的 hallucination、以及始终未被解决的机载资源约束。**

**UAV 跟踪**：相关滤波/Siamese → transformer one-stream 跟踪器 → "时序学习"竞赛（越加越多输入/参数）→ 效率感知（LETL 的 PPF）→ 复杂条件基准（DynUAV：强自运动）→ 主动感知（UAST：搜索-跟踪闭环）。新问题：时序学习收益-成本不可比、强自运动下检测-关联耦合失效。

**事件相机**：手工特征（SAE 类）→ 稀疏 CNN 表示（RED/E2VID 重建）→ 事件检测/分割/跟踪专用网络（MoE Heat Conduction (CVPR'24)、ETOD (ICCV'25) 小目标事件检测基准）→ 事件×帧融合（FENET 及 DSEC-D 数据）→ **事件增强 VLM（RE-VLM (CVPR'26)、EventDrive (CVPR'26)）**→ 事件驱动生成（Event3DGS、LongE2V 扩散重建）。新问题：事件-帧**时间对齐**始终被假设掉；事件-文本监督稀缺。

**域自适应检测（DAOD）**：对抗特征对齐（SWDA 强-弱对齐）→ DETR 域适应（DA-DETR (ICCV'21)）→ 原型/对比（MeGA、DATR）→ 视觉 prompt 注入（DA-Pro (NeurIPS'23)、DT (CVPR'25)）→ **SSM 线性全局建模（DA-Mamba，本期）**。新问题：全部是离线批处理，部署时的在线偏移（天气/高度/传感器漂移）无解。

**SAM 提示工程**：人工点/框 → 检测器生成框（Grounded-SAM 范式）→ 自动提示学习（Plug-and-Play PPO (CVPR'25)、Self-Prompt-SAM）→ 对抗式提示（Attack for Defense，本期）→ 概念级文本/示例提示（SAM 3，2025 底）。新问题：提示在多提示冲突、小目标/低对比域失效。

**开放词汇检测（OVD）**：预训练 VLM 区域对齐（MDETR）→ 检测-语言预训练（GLIP、Grounding-DINO (ICCV'23)）→ 实时化（YOLO-World (CVPR'24) 词汇重参数化）→ 视觉示例提示（YOLOE，2025）→ 高效融合（Mamba-YOLO-World (ICASSP'25)、HDINO (arXiv'26)）。新问题：实时性解决了但**域外泛化（航空俯视）仍弱**、hallucination 无校验。

**图像复原**：单退化专用 → all-in-one 对比退化表示（AirNet (CVPR'22)）→ prompt 驱动（PromptIR (NeurIPS'23)、AdaIR）→ 文本/CLIP 注入（InstructIR 类）→ diffusion 复原 → **智能体工具调用（HybridAgent，本期）→ LoRA/双层适配真实域（BiProLoRA，本期）**。新问题：**复原指标与下游感知回报脱节**（PSNR 高 ≠ 检测更准）。

### 2.2 关键外部文献

| 文献 | 年份 | 会议 | 贡献 | 与本方向关系 |
|---|---|---|---|---|
| UAV-YOLOv8 | 2023 | arXiv | VisDrone 特化 YOLO 轻量变体 | UAV 检测红海的代表 |
| STAIR-DETR | 2025 | arXiv/技术报告 | RT-DETR 加 P2 头+多模块 UAV 小目标检测，VisDrone mAP@50 41.7 | 证明 neck/头改动刷榜仍活跃=红海 |
| BPD-YOLO / AeroLight | 2025 | arXiv/Sensors | 轻量化 UAV 检测（参数量减半、精度+2.8%） | 同上，轻量化仍被单点优化主导 |
| DAWDet | 2026 | Pattern Recognition | 小波增强动态多分支弱目标检测，VisDrone/SODA-D/RGBT-Tiny SOTA | 小目标检测 SOTA 格局 |
| ETOD | 2025 | ICCV | 首个事件相机小目标检测基准+baseline | 事件×小目标交叉的空白被填 |
| MoE Heat Conduction Detector | 2024 | CVPR | 事件检测 MoE 热传导模型+新基准 | 事件检测方法论标杆 |
| FlexEvent | 2024 | arXiv | 任意频率事件检测 | 事件时间维度处理 |
| FENET + DSEC-D | 2025 | IEEE TCSVT | 多时间尺度事件-帧融合检测，自建 70,739 帧标注数据集，mAP50 超 FRN 8.6% | 事件-帧融合 SOTA 与数据 |
| EventDrive | 2026 | CVPR | 首个自动驾驶全栈事件-语言基准（17 子任务、47.6 万样本）+ EventDrive-VLM | 事件×VLM 最直接竞争（RE-VLM 同赛道） |
| LongE2V | 2025 | arXiv | 扩散模型做事件视频重建/预测/插值统一框架 | 事件-帧时间重建技术底座 |
| Event3DGS / EventEgo3D++ | 2025 | arXiv | 事件与 3DGS/人体动捕结合 | 事件时空表达前沿 |
| DA-DETR | 2021 | ICCV | 单鉴别器 DETR 域适应 | DAOD 范式起点之一 |
| DA-Pro | 2023 | NeurIPS | 视觉 prompt 域适应（C→F 55.9 mAP） | DAOD 前 SOTA |
| DT | 2025 | CVPR | 域提示 Transformer（C→F 55.4） | DAOD 近期 SOTA |
| DATR | 2024 | TIP | 类原型+数据集级对比对齐（C→F 53.4） | 原型对齐路线代表 |
| YOLO-World | 2024 | CVPR | 实时开放词汇检测（词汇重参数化） | OVD 实时化奠基 |
| YOLOE | 2025 | arXiv | 文本/视觉/无提示三模式实时开放感知 | OVD 边缘落地代表 |
| Grounding-DINO 1.5 | 2025 | arXiv | COCO 零样本 54.3 AP、LVIS 55.7 AP | OVD 精度标杆 |
| Mamba-YOLO-World | 2025 | ICASSP | SSM 线性融合的开放词汇检测 | OVD×SSM 效率线 |
| HDINO | 2026 | arXiv | 仅用检测数据训练的开卷检测器（8×L40 可复现，COCO 51.7 AP） | 8×L40 硬件可行性参照 |
| AirNet / PromptIR | 2022/2023 | CVPR/NeurIPS | 对比退化表示/提示驱动 all-in-one 复原 | 复原范式地基 |
| DFPIR | 2025 | CVPR | 退化感知特征扰动 all-in-one 复原 | 复原 SOTA 竞争 |
| Plug-and-Play PPO | 2025 | CVPR | 自适应点提示优化器让 SAM 更强 | SAM 提示工程直接对手 |
| Self-Prompt SAM | 2025 | arXiv | 自生成多尺度提示使冻结 SAM 超越 nnUNet | SAM 自动提示代表 |
| SAM Prompt Engineering Survey | 2025 | arXiv | 88 方法三族分类（几何/文本/多模态） | 提示工程版图 |
| Text2Seg | 2023 | arXiv | Grounding-DINO+SAM+CLIP 遥感零样本分割 | 基础模型×遥感（航空） |
| VL-SAM v2 / AutoOcc | 2025 | NeurIPS/ICCV | 开放检测分割与自动标注 | 基础模型感知交叉 |
| MMOT | 2025 | NeurIPS | 首个 UAV 多光谱 MOT 基准（125 序列、48 万框） | UAV 多模态跟踪（P12 互补） |
| UAVMOT | 2025 | arXiv/挑战赛 | UAV 多目标跟踪数据集 | UAV MOT 基准线 |
| Scaled CP Object Detection | 2025 | arXiv | 缩放 conformal 框级覆盖（KITTI/BDD/CODA，分布偏移下测试） | 检测不确定性 SOTA 线 |
| Conformal mAP Runway | 2025 | arXiv | 跑道检测 conformal 覆盖+严格 C-mAP | 航空安全×不确定性 |
| Patchwork++ / GroundGrid / TRAVEL | 2021-2024 | RA-L/IROS | 传统地面分割（自适应似然/高程图/图模型） | TerraSeg 的对手盘 |
| Anti-UAV / BSB 挑战赛 | 2025 | CVPRW | 反无人机热成像跟踪基准（平均目标 117 像素²） | UAV 微小目标跟踪数据 |
| YOLO-World + GPT-4V 无人机检测 | 2024 | 技术报告 | 开放词汇在航拍零样本 F1≈0.71、mIoU 0.38 | 开放词汇航空域 gap 的直接证据 |

（以上均为真实检索到的文献；部分技术指标取自检索页面摘要，引用时建议二次核对原始论文）

### 2.3 当前 SOTA 格局与主流评测

- **UAV 检测**：主流基准 VisDrone2019（mAP@50 榜首约 50 上下，STAIR-DETR 类 41.7 属中游偏上）、AI-TOD（极小目标 AP 普遍 <30）、SODA-D、RGBT-Tiny。主流 backbone 已从 YOLO 系转向 RT-DETR/端到端 DETR 系，但**榜单被 neck/损失工程刷爆，小目标 AP 仍远低于大目标**（AI-TOD 上 SOTA 的 mAP 约 28-30，远低于 COCO 的 50+），说明尺度是结构性问题而非工程问题。
- **UAV 跟踪**：VisDrone-MOT/UAVDT/UAVMOT，HOTA 是主指标；UCIT 级单目标跟踪在 UAV123 上 SR/PR 约 70/80。DynUAV/MMOT 是新基准增长点，强自运动/多光谱尚未被主流方法消化。
- **事件感知**：N-Caltech101/N-ImageNet 分类已近饱和；检测转向 DSEC/DSEC-D、ETOD（事件小目标，ICCV'25）；**事件×VLM 是 2025-2026 刚开局的点**（RE-VLM/EventDrive），尚无公认 leaderboard。
- **DAOD**：Cityscapes→FoggyCityscapes 已到 58.1（DA-Mamba）接近 oracle 61.1；Sim10k→Cityscapes 约 65+；**该 benchmark 组合接近饱和**，需要转向天气/高度/传感器真实偏移。
- **开放词汇检测**：COCO 零样本 50-55 AP（Grounding-DINO 1.5 54.3、HDINO 51.7），LVIS 零样本 ~35 AP；YOLO-World-L 28.7 AP 但实时。**航空域零样本仍弱（F1≈0.71）**。
- **SAM**：SA-1B 预训练，SAM2 视频、SAM3 概念级提示（2025 底）；自动提示优化多为自然/医学域，遥感/航空小目标少。
- **复原**：合成退化 PSNR 已饱和（>33dB 级），战场转向真实域适配（BiProLoRA/HybridAgent 类）与"复原为感知"。
- **不确定性**：conformal 在检测框覆盖/风险控制上成熟（KITTI/BDD/CODA），但**"何时保证失效"的元信号**与航空 UAV 域应用仍是空白。

### 2.4 方向级根本缺陷（Open Gaps）

- **G1｜UAV/边缘平台的资源约束感知无系统性处理**：现有工作只报 FLOP（如 PPF），忽略 latency/内存/带宽与机载动态预算；也没有"感知精度-功耗-延迟"联合优化的评测协议。为什么没解决：边缘基准数据与标准缺失，社区用服务器指标掩盖部署成本。需要：统一的 UAV 边缘评测协议 + 自适应计算（dynamic compute）方法。
- **G2｜事件-帧的异步时序对齐被所有融合工作假设掉**：帧有曝光时间、事件是异步微秒流，二者存在系统时间偏移；RE-VLM、P12 都假设"已同步"。为什么没解决：真实对齐数据少、标注时刻不确定。需要：可学习的时态对齐 + 曝光建模（可微）。
- **G3｜感知模型"何时在瞎猜"无部署可用、有统计保证的信号**：分布偏移下 softmax 置信度失真；conformal 有保证但只在同分布校准。为什么没解决：缺乏把"校准失效检测"做成可操作信任信号的工作。需要：校准覆盖率缺口作为 shift 信号 + 证据化 head。
- **G4｜复原质量与下游感知回报脱节**：PSNR/SSIM 最优的复原并不最大化检测 mAP；复原论文几乎不报下游感知指标。为什么没解决：评测协议缺失，跨任务协作的 incentive 不足。需要：感知导向复原评测协议 + 检测反馈的训练目标。
- **G5｜开放词汇/基础模型在航空小目标域的 hallucination 无校验**：Grounding-DINO/YOLO-World 在俯视小目标上虚检/漏检率高且不可信（零样本 F1 0.71）。为什么没解决：缺乏航空域开放词汇校验器与验证数据。需要：轻量 Judge/一致性校验机制。
- **G6｜DAOD 只做离线批处理，无部署期持续适配**：天气/高度/传感器漂移在部署后持续发生；DA-Mamba 系全部离线。为什么没解决：在线无监督适配在检测上难收敛、无安全评估。需要：测试时适配（TTA）+ 适配门控。
- **G7｜UAV 多模态（RGB+热+事件）数据稀缺且任务单一**：P12 只有车辆检测；MMOT 只有 RGB-NIR。为什么没解决：多传感器标定/对齐成本高。需要：合成事件管线（v2e）+ 半自动标注。

### 2.5 红海警告（不建议投入的子问题）

**已饱和、不要碰**：
1. 再提一个 UAV 小目标检测的 neck/注意力/FPN 变体刷 VisDrone——BPD-YOLO/AeroLight/STAIR-DETR 已把这条路卷烂，提升靠调参，无机制洞见。
2. 通用 all-in-one 复原在合成退化上刷 PSNR——AirNet/PromptIR/DFPIR 之后增量空间趋零，且与真实部署脱节。
3. DAOD 的新对抗对齐变体（换个域鉴别器/损失）在 Cityscapes→Foggy 上刷 mAP——该组合接近 oracle，baseline 拥挤。
4. 纯"再出个 SAM prompt 优化器"：Plug-and-Play PPO 之后，简单 RL/搜索式提示优化已拥挤。
5. 通用 VG 加一个注意力模块（SoVG 之后的网络堆叠）。

**还有空间（蓝海）**：
1. UAV 平台资源约束推理 + 动态计算预算（G1）。
2. 多模态融合（RGB+热+事件）与时间一致性（G2、G7）。
3. VLM/基础模型 × UAV 感知的辅助推理与伪标签校验（G5）。
4. 感知失败模式检测与带保证的信任信号（G3）。
5. 复原为感知、以检测回报为主指标的评测与目标（G4）。
6. 测试时/持续域适配（G6）。
7. 事件相机小目标检测（ETOD 刚开局的基准线）。

---
## 3. 六个可扩展 Idea

### Idea 1：TempVerify——时序一致性验证的 VLM 辅助 UAV 半监督检测与边缘蒸馏（低风险，VLM×感知交叉）

**一句话 Pitch**：用跨帧跟踪一致性作为"验证器"，过滤 Grounding-DINO/YOLO-World 在航空影像上的零样本虚检，生成高质量伪标签并蒸馏出边缘可部署的小检测器，把"开放词汇感知"变成 UAV 场景可信的数据引擎。

**切入的 Gap**：G5（开放词汇在航空域 hallucination 无校验）+ P160 AgentDet 的 Judge 思想（但我们要的是域无关的时序验证信号）+ P27 数据合成（互补：生成 vs 伪标签）+ P141 效率诉求（最终产物是边缘小模型）。

**核心技术方案**：
- 输入：VisDrone/UAVDT 训练集原始视频帧（无标注）；输出：高质量伪标签 + 蒸馏后的 YOLOv8-S。
- Step 1 零样本提案：Grounding-DINO-T（或 YOLO-World-L）对每帧生成 {box, 文本类别, 置信度}。
- Step 2 时序一致性验证器（核心）：用 BoT-SORT 风格轻量关联器跨帧关联成轨迹；对每条轨迹计算三维证据分：
  - 类别一致性：`cls_ent = -Σ p_c log p_c`（轨迹内 CLIP/文本相似度分布的熵，越低越可信）；
  - 空间一致性：`motion_s = median(IoU(frame_t, frame_{t+1}))`（预测框逐帧漂移越小越可信）；
  - 置信度一致性：`conf_cv = std(conf)/mean(conf)`（置信度起伏越小越可信）。
  - 证据分 `E = α·log(traj_len) + β·(1 - cls_ent) + γ·motion_s - δ·conf_cv`，仅 `E > τ` 的轨迹进入伪标签。关键设计选择：**跟踪一致性是域无关的验证信号**，不需要任何航空域标签，天然过滤开放词汇检测器对俯视影像的"瞬时虚检"。
- Step 3 EMA 自训练蒸馏：学生 = YOLOv8-S；教师 = 学生 EMA；损失 `L = L_det(强增强图, 伪标签, 置信度加权) + λ·L_consist(弱/强增强一致性)`；每轮学生更新教师并重标未确认帧。
- 与最接近工作的 delta：vs 直接 fine-tune YOLO-World/自训练——我们不把零样本框当 gt 训，而是用"跨帧一致性"做验证器去伪；vs AgentDet——我们把四角色流水线压缩成"提案+时序验证"两步，验证信号可解释、零额外大模型。

**为什么新颖（Novelty Argument）**："这不就是 self-training + tracking 伪标签？"——反驳：先例（Unbiased Teacher、BoT-SORT+伪标签）都用**置信度阈值**去伪，而置信度在航空域已失真（G5 根因）；我们首次把"开放词汇检测器在航空域的 hallucination"刻画为**时间上的瞬时性**，用域无关的时序证据做验证，并系统消融三类一致性信号各自的去伪能力。"这需要 Grounding-DINO 吗？"——我们也可用纯 supervised 检测器做提案，此时贡献退化为半监督增强，Novelty 依赖 VLM 提案的 hallucination 分析，正文必须展示 VLM 提案比 supervised 提案提供更多 recall（用 recall@loose 证明）。

**实验方案**：
- 数据集：VisDrone2019（~7k 训练帧视频，公开）、UAVDT、跨域验证 VisDrone→AI-TOD。
- Baselines：Grounding-DINO-T 直接微调、YOLO-World-L 微调、Unbiased Teacher、置信度阈值自训练、BoT-SORT+伪标签、PseudoLabeling+Ours（去掉时序验证）。
- 主表：行=方法，列=mAP50 / AP_s（小目标）/ 伪标签与 GT 的 IoU 质量 / 蒸馏后模型 FPS(Jetson Orin)。
- 消融：（1）三类一致性信号逐一去掉→证明各自独立贡献；（2）τ 敏感性曲线；（3）EMA 轮数 vs 伪标签纯度/增益；（4）蒸馏目标大小（S vs M）；（5）标注量削减曲线（0%→20%→100% 标注下与全监督的差距）。
- 分析实验：hallucination 案例可视化（哪些"瞬时虚检"被时序验证拒绝）、伪标签空间分布热图。
- 指标：mAP、AP_s、伪标签 precision/recall、边缘 FPS。

**8×L40 可行性核算**：Grounding-DINO-T 推理单卡 ~15GB，可 2 卡并行跑数据生成（~1-2 天）；YOLOv8-S 蒸馏训练 batch=64 单卡 48GB 无压力（~8h/epoch 级，全流程 <200 GPU·h）。总预算 <300 GPU·h（远低于 2500 上限）。全参训练，无需 LoRA。**做不了的**：YOLO-World-L 大规模 CPT 复训——不必要，只做推理。

**风险与退路**：最大风险是 VLM 在航空域漏检多导致提案 recall 不足（时序验证救不了漏检）→ 退路：混合 5-10% 人工标注做半监督（self-training 常规设定），或把贡献重定位为"UAV 检测标注量削减 10× 的数据引擎"（工程+评测贡献也成立）；退路 2：用 ETOD 数据验证跨域（航空→事件）的通用性，扩大故事。

### Idea 2：TTDA-UAV——面向 UAV 部署域偏移的测试时域适应检测（低风险）

**一句话 Pitch**：部署时用"熵最小化 + 轻量专家 adapter + 不确定性门控"在线适配检测器，应对天气/高度/传感器漂移，把 DAOD 从离线搬到在线。

**切入的 Gap**：G6（DAOD 只做离线）+ P47 DA-Mamba 的"仅离线、batch=2、无 TTA"明确不足 + P17 DynUAV 的部署场景诉求。

**核心技术方案**：
- 基线：RT-DETR-R18 / YOLOv8（预训练，部署版冻结或全可调）。
- 适配器：在 backbone 每层插入 LoRA 型 rank=16 adapter（参数 ~1%）；head 不变。
- 测试时目标（对每个在线 batch）：
  `L_tta = λ_ent·H(检测头输出熵，背景感知版) + λ_cons·MSE(f(强增), f(弱增)) + λ_pseudo·Σ 高置信框的分类损失`
  - 检测专用熵：对无匹配 query/框做"背景惩罚熵"，避免背景类主导梯度（直接抄 TENT 熵会失效）。
  - **不确定性门控**：维护运行均值 `H_bar`，当 batch 平均熵 > 阈值 θ 时**缩减更新步长**（防止过拟合恶劣帧），θ 用运行统计自适应。
- 与最接近工作 delta：vs TENT/SAR（分类 TTA）——检测的多目标+背景不均衡需要专门的熵形式与门控；vs DA-DETR/DA-Mamba——它们离线用目标域全集训练，我们用在线单流无监督；vs 已有检测 TTA（如 DTE）——我们加不确定性门控与 LoRA 参数效率，面向 UAV 部署。

**为什么新颖（Novelty Argument）**："把 TENT 搬到检测上"——反驳：已有检测 TTA 工作少且不稳，核心障碍恰是背景熵主导与适配崩溃，我们的门控是为此专门设计；且面向 UAV（实时、低显存）的在线适配协议是空白（G6）。"LoRA 是旧技术"——反驳：LoRA 不是卖点，卖点是"门控何时该适配"，LoRA 只是让适配可逆、可回滚的参数化手段。

**实验方案**：
- 数据集：Cityscapes→FoggyCityscapes、VisDrone→UAVDT、BDD100K day→night（自建子集）、Sim10k→Cityscapes。
- Baselines：source-only、DA-DETR、DATR、DA-Mamba（离线代表）、TENT、SAR、TTA-DETR、Ours。
- 主表：行=方法，列=目标域 mAP / 回源域不退化率（抗遗忘）/ 每帧适配耗时 / 显存。
- 消融：（1）门控有无→证明防崩溃；（2）熵形式（检测专用 vs 朴素）；（3）adapter 位置（backbone/neck/head）；（4）batch 大小与更新步长；（5）长流（模拟 1 小时部署）下的稳定性曲线。
- 分析实验：适配过程中的熵轨迹、误适配案例（门控拦截了什么）。
- 指标：mAP、抗遗忘、FPS、显存。

**8×L40 可行性核算**：全部小模型（RT-DETR-R18 全参微调 base 预训练 + 各域评估），8 卡 DP 跑 ~5 天 = <1000 GPU·h。显存单卡 24GB 内。**做不了的**：大规模 TTA 持续评测脚本需要自己写（工程成本，非 GPU 成本）。

**风险与退路**：在线适配在恶劣域可能抖动/崩溃 → 门控失效 → 退路：改"部署前后台定期适配（无标注缓冲）"设定（介于 TTA 与半监督之间），故事改为"免标注的部署期适配协议"；退路 2：与 Idea 4 的信任信号耦合（门控直接用信任分）。

### Idea 3：TempoAlign——事件-帧异步时序对齐与曝光建模的鲁棒多模态检测（高风险，事件相机时间一致性）

**一句话 Pitch**：不再假设事件与帧同步——学习"帧曝光时刻对应的事件时间窗"，用事件流重建帧曝光期内的锐利表示再融合，攻克运动模糊/高速场景下的多模态检测。

**切入的 Gap**：G2（异步时序对齐被 P12/P13/EventDrive 全部假设掉）+ G7（UAV 多模态数据稀缺，但驾驶域有 DSEC/DSEC-D 可先验证）+ P12 数据集"pre-aligned"声明无量化。

**核心技术方案**：
- 输入：帧 I_t（带曝光时长 Δ_t）+ 事件流 E（微秒时间戳）；输出：检测框。
- 事件表示：多时间尺度体素化（EventDrive 式）生成 K 个候选时间窗的 event map `{V_1..V_K}`（不同起点/终点覆盖帧前后）。
- **时间对齐头 TA-Head**（核心）：对每帧预测曝光中心偏移 `δ_t`（相对帧时间戳），通过可微软选择（对 K 个体素的 attention 加权）得到与帧内容时间一致的锐利事件特征 `F_evt = Σ_k w_k(δ_t)·Encoder(V_k)`。`w_k` 为以 `δ_t` 为中心的高斯核权重。设计理由：让"用哪个时间窗"可微、可学，避免离散选择不可导。
- 曝光建模辅助：用事件在 [t-Δ_t, t] 内的积分重建"去模糊帧" `I_deblur`（事件辅助 deblur 作为 auxiliary branch），其重建质量同时约束 `δ_t` 预测的合理性（自监督时间一致性正则）。
- 融合：gated cross-attention（事件特征查询帧特征），检测头（RT-DETR 轻量 decoder）。
- 损失：`L = L_det + λ1·L_deblur(重建) + λ2·L_align(用事件重建帧与真实帧在时间上的一致性，自监督)`。
- 与最接近工作 delta：vs RE-VLM/EventDrive——它们做"多时间尺度体素化"但仍假设帧-事件同时刻，我们在其上显式建模**曝光中心偏移**并做可微对齐，服务于检测任务而非 caption；vs FENET（TCSVT'25）——它做分层融合但无时态偏移建模；vs EventGAN 类重建——我们对齐服务于下游检测而非重建本身。

**为什么新颖（Novelty Argument）**："就是事件去模糊+融合的组装"——反驳：现有事件-帧融合工作全部默认同步采集（P12 甚至把"pre-aligned"当卖点），**没有一篇建模帧曝光与事件流的系统时间偏移并让偏移可微**；我们在真实驾驶数据上量化这个偏移（分析实验），方法上是第一个可学习时态对齐的检测器。"时间偏移可以在采集时标定掉"——反驳：卷帘曝光/帧同步抖动/云台振动导致的偏移是时变的，标定只能消除静态分量，时变分量恰是我们要学的。

**实验方案**：
- 数据集：DSEC（事件+帧，驾驶）、DSEC-D（FENET 自建，70,739 帧、25 万框，公开）、v2e 合成 VisDrone 事件流（自造，验证航空域迁移）、N-Caltech101（分类 sanity）。
- Baselines：RGB-only、event-only、naive 同步融合（P12 式 CSSA）、FENET、Event-Driven fusion (FRN)、EventDrive-VLM（若事件编码可比）。
- 主表：行=方法，列=mAP50 / mAP50:95 / 高速子集 mAP（按帧间运动量分层）/ 推理 FPS。
- 消融：（1）TA-Head 有无→证明时态对齐增益；（2）δ_t 监督来源（全自监督 vs 辅助 deblur）；（3）候选时间窗数量 K；（4）融合位置；（5）合成（v2e）→真实（DSEC）迁移。
- 分析实验：δ_t 预测值 vs 真实曝光时刻的残差分布、不同运动速度下的对齐误差曲线（证明假设存在且被学掉）。
- 指标：mAP、分层 mAP、对齐误差、FPS。

**8×L40 可行性核算**：双编码器中等（事件编码器 ResNet18 级 + 帧编码器 ViT-S 级 + 轻量 head），全参训练 batch=32 单卡 8 卡 DP，DSEC-D 规模（~7 万帧）训练 ~2 天 = <500 GPU·h；v2e 合成数据生成是 CPU 便宜管线。总预算 ~800 GPU·h。**做不了的**：大规模三模态（RGB+热+事件）联合训练——没有该数据，用 DSEC-D + 合成替代；EventDrive 级全栈 VLM 复训——不必要。

**风险与退路**：最大风险是真实数据中"帧-事件时态偏移"量级太小（<1ms）导致增益不显著 → 对策：先在 v2e 合成数据上**人工注入已知偏移**（可控实验证明机制成立），再回真实数据；退路：若检测增益小，把贡献重定位为"事件-帧时间对齐的量化分析与首个可学习对齐器"（分析+方法论文，投 ICRA/RA-L 级别保底，CVPR 冲刺）。

### Idea 4：TrustPercept——"何时在瞎猜"：分布偏移下带统计保证的检测失败预警（高风险，不确定性/可靠性）

**一句话 Pitch**：给 UAV/自动驾驶检测器配一个可验证的信任信号——用 evidential head + 分层 conformal 校准，把"校准覆盖率缺口"作为分布偏移检测器，输出"当前感知可信/需人工接管"的带保证判决。

**切入的 Gap**：G3（无部署可用、有保证的信任信号）+ G7（UAV 域偏移评测缺位）+ P48 HierUQ 的"粒度回滚"扩展到检测 + P17 的失败模式诉求 + P160 AgentDet 的 Judge 硬判决（改为证据化）。

**核心技术方案**：
- 模型：RT-DETR-R18 / YOLOv8；检测头增加 evidential 分支：对每框回归输出 NIG 分布（4 坐标 mean + aleatoric variance），分类头输出 Dirichlet 证据（epistemic）。
- **校准与失效检测**：在干净分布上，用分层 conformal 校准每类"框级包含阈值"，使预测集覆盖率 ≥ 1-α；部署时对每个滑动窗口计算**实测覆盖率** `ĉ`，定义信任分 `Trust = 1 - |ĉ - (1-α)|`；当 Trust 低于 θ（或连续窗口超差）→ 触发"接管/手档"。理论依据：交换性假设在偏移下失效，覆盖率缺口本身就是最灵敏的 shift 信号（无需新数据标注）。
- 预警粒度：窗口级（整机可信度）→ 实例级（每个框的 evidential 不确定度），两级信号供下游决策。
- 构建 VisDrone-C：按 ImageNet-C 协议给 VisDrone 加 15 种退化×5 强度（自造、公开），作为 UAV 退化鲁棒性基准。
- 与最接近工作 delta：vs conformal detection（框覆盖保证）——他们保证框包含率，我们监控"保证何时失效"并转成预警；vs 传统 OOD 检测（softmax/MSP/energy）——我们输出有统计意义的覆盖率缺口而非启发式分数；vs Deep Ensemble/MC Dropout——我们用单模型 evidential + 校准，部署成本低一个量级。

**为什么新颖（Novelty Argument）**："就是 OOD 检测"——反驳：OOD 检测评估的是 AUROC 曲线下的排序能力，不回答"现在能不能信"；我们输出的是**带有限样本保证的信任判决**（校准缺口），且针对检测器的结构（框+类）而非分类器。"conformal 论文很多"——反驳：把"覆盖率缺口=shift 探测器"作为一等贡献（而非把 CP 当工具）并做 UAV 退化基准（VisDrone-C）的系统评测，是空白。

**实验方案**：
- 数据集：VisDrone（干净）、VisDrone-C（自造）、Cityscapes→FoggyCityscapes（真实域偏移）、BDD100K day→night。
- Baselines：vanilla 置信度阈值、MSP/energy OOD、MC Dropout、Deep Ensemble、Evidential(EDL)、conformal 框覆盖（已有）、Ours。
- 主表：行=方法，列=预警 AUROC（"是否失效"二分类）/ 覆盖率缺口 miscalibration（ECE）/ 误报率@召回 0.9 / 退化强度下的预警延迟。
- 消融：（1）evidential vs 非 evidential 的缺口信号灵敏度；（2）窗口大小；（3）θ 阈值与退化强度的关系曲线；（4）实例级 vs 窗口级信号；（5）不同退化类型的可检测性差异。
- 分析实验：覆盖率缺口随退化强度的单调性曲线（证明信号有信息量）、失败案例（模型自信但错了）可视化、Trust 轨迹时序图。
- 指标：AUROC、ECE、FAR@90%TPR、预警延迟（帧数）。

**8×L40 可行性核算**：全部小模型。RT-DETR-R18 在 VisDrone 训练 ~1 天（8 卡，~200 GPU·h）；VisDrone-C 生成是 CPU 便宜管线；校准与评估脚本无 GPU 瓶颈。总预算 <500 GPU·h。**做不了的**：大规模真实无人机采集失败数据——用合成退化+已有真实域偏移替代。

**风险与退路**：最大风险是"覆盖率缺口"信号在个别退化类型上不敏感（如全局亮度偏移不破坏置信度）→ 对策：混合信号（缺口+熵趋势+实例级不确定度）做多视图融合；退路：若预警方法被证平庸，**VisDrone-C + 退化鲁棒性评测协议本身可独立成文**（安全评测基准，NeurIPS Datasets&Benchmarks/Workshop 保底）。

### Idea 5：POR-Net——感知导向的图像复原：以下游检测回报为目标的复原范式与评测协议（新任务定义）

**一句话 Pitch**：重新定义复原的考核标准——复原不是为了 PSNR，而是最大化下游检测/跟踪的回报；提出 POR（Perception-Oriented Restoration）评测协议，并给出一个"检测反馈可微"的感知感知复原目标。

**切入的 Gap**：G4（复原与下游感知脱节）+ P129（智能体复原无下游验证）+ P137（真实域适配无感知指标）+ P12/P17（UAV 场景退化条件下检测恶化）。

**核心技术方案**：
- **POR 评测协议**（任务定义）：在 VisDrone/UAVDT/AI-TOD 上施加标准退化库（雨/雾/模糊/噪声/低光，ImageNet-C 风格 15 型×5 强度）→ 用 SOTA 复原器复原 → 用固定检测器评估 mAP 恢复率（relative mAP recovery）与 PSNR/SSIM。**系统性揭示 PSNR-mAP 弱相关**（这是论文的"发现"级贡献）。
- 方法 POR-Net：Restormer 级复原网络 + 三条支路：
  1. 常规复原支路（PSNR 类损失，保住感知质量）；
  2. **检测特征对齐支路**：冻结检测器 backbone，复原图特征与干净图特征做 feature matching（MSE 于多尺度）；
  3. **小目标纹理保护**：在低分辨率特征层加高频保持损失（小目标信息集中在低频下采样中丢失，用 wavelet 高频项正则）。
  - 训练：`L = L_rec + λ1·L_feat + λ2·L_highfreq`；可选检测头损失可微回传（detector-guidance）作为 ablation。
- 与最接近工作 delta：vs 传统"dehaze-for-detection"（单退化、非 all-in-one）——我们是 all-in-one + 以检测回报为主指标 + 揭示 PSNR 误导性；vs AirNet/PromptIR——它们不感知下游；vs HybridAgent——我们不做 agent 路由，做目标函数。

**为什么新颖（Novelty Argument）**："PSNR 高不等于检测好"已被零散观察到——反驳：没有系统评测协议量化这个脱节，更没有"以检测回报为训练目标"的 all-in-one 复原器；我们把观察变成评测标准+方法。"就是特征匹配 loss"——反驳：特征匹配早已有（感知 loss），但**针对小目标下采样丢失的高频保护 + 以感知回报为第一指标的评测协议**是新的；消融会证明仅加 feature loss 不够。

**实验方案**：
- 数据集：VisDrone2019、AI-TOD（极小目标）、UAVDT、SODA-D；退化库自建（公开）；检测器固定 YOLOv8-S 与 RT-DETR-R18 双验证。
- Baselines：直接检测（退化图）、AirNet、PromptIR、DFPIR、diffusion 复原（可选一个轻量）、+Ours。
- 主表：行=方法，列=下游 mAP 恢复率 / PSNR / SSIM / LPIPS / 复原器 FLOPs——**核心论证是 mAP 列排序 ≠ PSNR 列排序**。
- 消融：（1）特征对齐支路有无；（2）高频保护有无（小目标 AP_s 变化）；（3）detector-guidance 可微回传（做不做）；（4）退化类型泛化（训练见过的 vs 未见）；（5）检测器替换（YOLO→RT-DETR 的迁移性）。
- 分析实验：PSNR-mAP 散点图（证明弱相关）、小目标纹理可视化（复原前后特征响应）、每类退化下 mAP 恢复热图。
- 指标：mAP 恢复率、AP_s、PSNR/SSIM/LPIPS、FPS。

**8×L40 可行性核算**：Restormer 级复原网络（~26M），单卡 batch=32 训练 VisDrone 级数据 ~2-3 天（8 卡，~500-800 GPU·h）；退化库生成 CPU 便宜；固定检测器推理廉价。总预算 ~800 GPU·h。**做不了的**：大规模 diffusion 复原全参训练——只用现成轻量 diffusion 作 baseline 推理，或降级为蒸馏。

**风险与退路**：最大风险是"感知感知目标"最终同时输给纯 PSNR 复原器和纯检测训练（两头不讨好）→ 对策：用超参扫描找 λ1/λ2 平衡点并诚实报告 trade-off；退路：**若方法平庸，POR 评测协议+PSNR-mAP 脱节的系统量化本身可独立成文**（新评测任务，符合"新任务定义"idea 的保底形态）。

### Idea 6：GoUAV——可信开放的 UAV 边缘开放词汇感知（中风险，VLM×感知落地）

**一句话 Pitch**：面向 UAV 部署的开放词汇检测——词汇重参数化 + 视觉示例双提示 + 轻量 LLM-as-Judge 语义一致性校验，用 3B VLM（LoRA）把"俯视幻觉"挡在边缘设备外。

**切入的 Gap**：G5（航空域开放词汇 hallucination）+ P160 AgentDet 的 Judge 思想轻量化 + P158 SoVG（航空小目标 referring）+ YOLO-World 航空域零样本 F1≈0.71 的明确证据 + P141 边缘资源约束。

**核心技术方案**：
- 检测器：YOLOE 风格（支持文本+视觉示例双提示），部署时词汇重参数化（固定词表 bake-in，推理无文本编码器）。
- **Judge 校验器（核心）**：轻量 VLM（Qwen2.5-VL-3B 或 InternVL2-2B）LoRA 微调，输入=检测框裁剪图 + 场景上下文提示（"该区域是俯视航拍，判断是否真的是 [class] 的典型外观"），输出=二分类校验分。**专治俯视视角的语义混淆**（车顶误判人、影子误判物）。微调数据由半自动生成：干净域检出的正例 + 已知错误检出的反例 + 简单模板。
- 融合：`final_score = det_conf^(1-β) · judge_score^β`；低 judge 分且高 det_conf 的样本进入"待人工"队列（不回灌训练）。
- 增量词表：新类别出现时用示例图注册（无需训练），Judge 校验后进入知识库（AgentDet 黑板思想轻量化）。
- 与最接近工作 delta：vs AgentDet——它做 ZSOD/FSOD 流水线且训练 4 角色，我们聚焦"边缘部署 + 航空域校验"，Judge 是单模块校验器而非完整流水线；vs 已有的 Grounding-DINO+LLM demo——我们把校验分数集成进推理决策与评测（非事后人工过滤），并量化虚检率下降。

**为什么新颖（Novelty Argument）**："又是 YOLO-World+SAM 流水线"——反驳：我们不是检测+分割组合，而是第一个系统解决"开放词汇检测在航空俯视域的 hallucination 校验"问题，Judge 针对的是俯视视角语义混淆（这是域特有、已有工作未建模的失败模式）。"Judge 就是分类器"——反驳：分类器在闭集上有效，Judge 的价值在开放词表下的语义一致性（文本/示例双 prompt 注册新类），这是 AgentDet 思想的轻量化落地。

**实验方案**：
- 数据集：VisDrone 类别子集（词表仅含 COCO 类别，零样本评估）、UAVDT、SoVG（小目标 referring）、自建无人机巡检场景（可选少量）。
- Baselines：YOLO-World-L、YOLOE、Grounding-DINO-T、MM-OVOD、AgentDet（如可复现）、Ours。
- 主表：行=方法，列=零样本 mAP / 虚检率（FP/图）/ AP_s / 边缘 FPS(Jetson Orin)。
- 消融：（1）Judge 有无→虚检率下降与 recall 代价；（2）β 融合权重；（3）Judge 模型规模（3B vs 7B vs CLIP 双塔）；（4）LoRA vs 全参；（5）示例提示 vs 文本提示的注册成本。
- 分析实验：俯视语义混淆典型案例库（Judge 拒绝了什么）、误拒率（Judge 错杀真目标的比例）、增量词表注册演示。
- 指标：零样本 mAP、虚检率、FPS、误拒率。

**8×L40 可行性核算**：YOLOE/YOLO-World 系训练（单卡 48GB 够，若复训）；Qwen2.5-VL-3B LoRA 用 ZeRO-2 + bf16 + grad ckpt 单卡 48GB 可行（batch 8×8 卡 DP），LoRA 训练 ~1 天（<300 GPU·h）；7B 变体作为 ablation 单次推理即可。总预算 ~600 GPU·h。**做不了的**：Grounding-DINO-L 级大规模预训练复训——不做，只推理；AgentDet 完整复现——用其论文数字。

**风险与退路**：最大风险是 3B VLM 本身在航空域不可靠（Judge 误判率高）→ 对策：先把 Judge 训练退化为"航空域二分类校验"（数据容易造），再逐步开放词表；退路：Judge 换成 CLIP 双塔（成本更低、稳定），论文贡献聚焦"航空域开放词汇校验协议+虚检率评测"，VLM 版本作为上限分析。

---

## 4. 优先级建议

| Idea | 新颖度 | 工作量 | 风险 | 8×L40 契合度 | 推荐投稿目标 | 建议启动顺序 |
|---|---|---|---|---|---|---|
| Idea 1 TempVerify（VLM 伪标签验证蒸馏） | 3/5 | 小 | 低 | 5/5（<300 GPU·h） | CVPR/ICCV | 1 |
| Idea 2 TTDA-UAV（测试时域适应） | 3.5/5 | 中 | 中低 | 4.5/5（<1000 GPU·h） | CVPR/NeurIPS | 2 |
| Idea 4 TrustPercept（失败预警+统计保证） | 4.5/5 | 中 | 高 | 5/5（<500 GPU·h） | NeurIPS/ICLR（安全可靠性） | 3 |
| Idea 5 POR-Net（感知导向复原/新任务） | 4/5 | 中 | 中 | 4.5/5（~800 GPU·h） | CVPR/ECCV | 4 |
| Idea 3 TempoAlign（事件-帧异步对齐） | 5/5 | 大 | 高 | 3.5/5（~800 GPU·h+数据工程） | CVPR/ICCV（oral 潜力） | 5 |
| Idea 6 GoUAV（开放词汇边缘校验） | 4/5 | 中 | 中 | 4.5/5（~600 GPU·h） | CVPR/ICCV | 6 |

**组合策略**：Idea 1 与 Idea 2 共享 UAV 数据管线与检测代码库，可并行开工；Idea 4 的门控可反哺 Idea 2（信任信号做适配门控）；Idea 3 与 Idea 6 均可把 Idea 1 的伪标签管线作为数据上游。8×L40 总预算（300+1000+500+800+800+600 ≈ 4000 GPU·h）略超单方向建议，但主实验合计 ~2400 GPU·h 可控，且 Idea 3/6 可在前四个完成后错峰执行，避免争卡。