# M6｜世界模型、4D/3D 场景重建与驾驶仿真

> 研究员：M6（子智能体）｜日期：2026-08-25｜硬件约束：8×L40（48GB/卡，无 NVLink，PCIe 互联）

## 0. 方向速览

M6 覆盖"感知-预测-生成-仿真"闭环的几何与动力学两端：一端是世界模型（World Model）与 4D/3D 重建，一端是驾驶仿真资产与几何感知。核心矛盾是——**现有驾驶/场景世界模型大多在像素或隐空间生成视频，缺乏可验证的物理与几何结构**，导致 FVD/FID 漂亮但下游（规划、闭环评测、数据合成）难以信赖；而几何端（前馈式重建、3DGS、占用预测）虽精度高、显存友好，却缺乏"预测未来"的世界模型能力。2024–2026 的范式转移清晰：从级联式"感知→预测→规划"走向**统一表征空间里的生成式世界模型**（占用、BEV、点图、高斯），从逐场景优化走向前馈式（feed-forward）基础模型（VGGT、π3）。卡点在于：(1) 表征空间选择与"下游有用性"长期脱节；(2) 物体性/物质性如何在无监督下涌现仍无可靠答案；(3) 长尾分布与任意传感器泛化是真实部署的两道硬墙。

---

## 1. 论文逐篇评析

### [P15] Long-Tail Internet Photo Reconstruction（长尾互联网照片重建）
- **核心贡献**：指出 3D 基础模型的长尾崩溃问题，构造 **MegaDepth-X**（带干净稠密深度的重建数据集）+ 模拟长尾相机分布的抽帧策略，微调 3D 基础模型使其在有遮挡/稀疏/对称场景也稳健。
- **优点**：① 用"从稠密地标采样稀疏子集"近似长尾稀缺监督，数据构造巧妙且可复现；② 同时改善对称性/重复性场景（这是 DUSt3R 类方法的真实软肋）；③ 保留对标准稠密 benchmark 的泛化，不是只刷长尾。
- **不足**：① 用"地标抽稀"模拟长尾，但真实长尾是非地标场景的**内容分布偏移**（建筑风格、材质、相机型号），不只是稀疏度，分布 mismatch 未量化；② 评测只在模拟稀疏度 + 标准 benchmark，缺**真实 in-the-wild 长尾**验证；③ 没说清对哪类基础模型最有效（DUSt3R/MASt3R/VGGT 增益差异未知）。
- **可延展信号**：把"长尾稀缺"从"稀疏度"解耦成"内容+几何分布偏移"，是后续数据引擎的真问题。

### [P28] GenMatter: Perceiving Physical Objects with Generative Matter Models
- **核心贡献**：受人类运动知觉启发，用分层生成模型把低层运动/外观特征分组为**粒子（局部物质高斯）→ 簇（可独立运动的物理实体）**，并用并行块 Gibbs 采样推理稳定运动与分组。
- **优点**：① 统一了随机点、纹理、自然视频三类输入，跨越了生物视觉成功但 CV 失败的设置；② 显式建模**graded uncertainty**（模糊条件下的分级不确定性），这是主流确定性分割缺失的；③ 硬件加速 Gibbs 采样，比纯 MCMC 实用。
- **不足**：① 块 Gibbs 推理随粒子数/帧数开销陡增，**视频 scalability 存疑**；② 缺少与学习型 object-centric 方法（SAVi、Slot Attention、DINOSAUR）的定量对比；③ 仅在随机点/伪装旋转/自然视频验证，"deforming objects 的 3D matter"只做跟踪，未做场景级物理；④ "graded uncertainty"无对人类心理物理数据的量化对齐。
- **可延展信号**：如何把"粒子→簇"的层次分组做成可微分、可前馈、可扩展到驾驶场景，是天然接手点。

### [P50] Diff4Splat: Repurposing Video Diffusion Models for Dynamic Scene Generation
- **核心贡献**：单图→动态 3D 高斯场的**前馈式**框架，复用视频扩散先验 + 大规模 4D 数据集的几何/运动约束，用 video latent transformer 联合建模时空并预测时序高斯基元。
- **优点**：① 单次前向（<30s）免去测试时优化，效率远超优化式方法；② 复用视频扩散先验，几何/外观/运动统一；③ 在视频生成/新视角/几何提取三任务都匹配或超越优化式方法。
- **不足**：① 依赖"大规模 4D 数据集"从头预训练，数据成本与领域偏差未讨论；② 单图→4D 是强病态逆问题，长时序/大幅运动下几何漂移未量化；③ 评测用视频生成/几何指标，**缺下游任务有用性**；④ 高斯基元在遮挡/新物体进入时退化。
- **可延展信号**：把视频扩散先验"蒸馏/对齐"到占用或点图空间，而非直接到高斯，可能更几何可控。

### [P54] Physical Object Understanding with a Physically Controllable World Model
- **核心贡献**：提出一类**概率世界模型**，用自回归序列建模支持"任意视觉变量条件于任意其他变量"的概率估计；通过采样多未来、分析运动相关性**涌现出物体与关节子部件**，并可在 3D 操纵（Visual Jenga）。
- **优点**：① 把"物体性涌现"从启发式改成**可概率化、可反事实**的框架；② Visual Jenga 展示了物理关系可被世界模型计算，应用惊艳；③ 自回归序列建模训练高效。
- **不足**：① 自回归 tokenizer（像素 patch？）在驾驶/大场景的扩展性未证明；② "物体涌现"只在**合成/受控**物体验证，真实场景的物体边界/遮挡未处理；③ 采样多未来做运动相关性的**计算代价**未给；④ 无与 object-centric decomposition SOTA（如 GenMatter、SAVi）对比。
- **可延展信号**：把该框架的"任意变量条件概率"做成驾驶场景的物体级反事实 rollout，是闭环评测的金矿。

### [P70] SparseWorld-TC: Trajectory-Conditioned Sparse Occupancy World Model
- **核心贡献**：轨迹条件的未来 3D 占用预测，**端到端从原始图像特征**直接预测多帧未来占用，用稀疏占用表征绕过 BEV 投影与 VAE 离散 token 化的容量瓶颈。
- **优点**：① 明确攻击"离散 token 化容量有限 + BEV 结构先验受限"，端到端稀疏占用更直接；② nuScenes 1–3s 占用预测 SOTA，且对任意未来轨迹条件鲁棒；③ 复用 attention transformer，与 VGGT 同源的架构直觉。
- **不足**：① "从原始图像特征端到端"隐含了几何获取机制（深度/相机？）未澄清，跨数据集度量一致性存疑；② 只评 1–3s 短视界，长视界/新物体进入（OccWorld 自承的弱点）未测；③ "任意轨迹"的 OOD 程度未界定；④ 稀疏占用本身的信息损失（vs 稠密体素）对下游规划的影响未量化。
- **可延展信号**：把稀疏占用世界模型接到规划器做**闭环策略评估**，正是 FVD 脱节问题的解法。

### [P86] PAI-Bench: A Comprehensive Benchmark For Physical AI
- **核心贡献**：统一评测多模态 LLM 与视频生成模型在**感知+预测**上的物理合理性，覆盖视频生成/条件视频生成/视频理解 2808 例，任务对齐指标。
- **优点**：① 系统揭示"视频生成模型画质好但物理连贯差、MLLM 预测/因果解读弱"的割裂；② 跨三类任务统一，便于横向比较；③ 明确物理 AI 处于早期。
- **不足**：① 2808 例对视频基准偏小，且**物理合理性指标易 gameable**（GPT-as-judge 或人类偏好偏差）；② 未连接下游任务效用（生成数据是否真提升规划？）；③ 驾驶/自动驾驶覆盖不明；④ 作为 benchmark，缺"可证伪的物理定律"维度（如守恒、刚体碰撞）。
- **可延展信号**：把 PAI-Bench 的物理合理性指标与**闭环下游效用**对齐，是 benchmark 升级的真方向。

### [P87] LiDAR Prompted Spatio-Temporal MVS for Autonomous Driving（DriveMVS）
- **核心贡献**：把稀疏但度量精确的 LiDAR 同时作为**硬几何先验**（锚定 cost volume）与**软特征引导**（三线索融合），时空解码器保证跨帧一致；KITTI/DDAD 度量深度 SOTA + 零样本跨域。
- **优点**：① "LiDAR 作 prompt 而非监督"定位精准，兼顾尺度与跨域；② 时空解码器解决时序一致性，是单帧深度常被忽略的点；③ 零样本跨域对部署价值高。
- **不足**：① 硬先验依赖 LiDAR 质量，LiDAR 噪声/缺失时退化，且推理期需 LiDAR（纯相机场景不适用）；② 与 Depth-Anything-V2 / Metric3D-v2 的零样本对比维度不全；③ 时序仅用邻帧，长时序几何漂移未处理；④ 跨域"零样本"目标域未明确（Waymo？nuScenes？）。
- **可延展信号**：把 LiDAR prompt 推广为"任意传感器提示"（相机/雷达/事件），直击 TerraSeg 式任意传感器泛化缺口。

### [P90] HorizonForge: Driving Scene Editing with Any Trajectories and Any Vehicles
- **核心贡献**：把场景重建为可编辑高斯/网格，用**noise-aware 视频扩散**保证时空一致，单次前馈生成多样场景变体；提出 HorizonSuite 基准（自车/智能体级编辑）。
- **优点**：① 高斯泼溅保真度显著优于其他 3D 表征（有实证）；② 视频扩散时序先验对连贯合成关键；③ 83.4% 用户偏好增益、25.19% FID 提升，量化突出。
- **不足**：① FID 提升**不代表物理正确**（车辆插入是否符合遮挡/尺度/动力学未验证）；② 高斯编辑与视频扩散可能冲突（几何 vs 像素）；③ 用户研究规模/盲测协议未详述；④ 物理约束（碰撞、尺度一致）未强制，易产生"看起来对但不可能"的编辑。
- **可延展信号**：在高斯编辑后接"物理一致性校验器"（占用/碰撞），把仿真资产可用性从画质拉到物理。

### [P96] Zero-Shot Depth Completion with Vision-Language Model
- **核心贡献**：首个 **VLM 深度补全**，几乎不改架构：稀疏深度 token 化给绝对尺度、二值 mask 作文本提示指示补全位置、文本监督（无需 GT 深度）。
- **优点**：① "几乎不改架构"的工程极简，复用 VLM 强语义先验；② 跨传感器/稀疏度/场景零样本，泛化极强；③ 无需 GT 深度，数据友好。
- **不足**：① 依赖具体 VLM 与"文本标签来自稀疏深度"存在**循环依赖**风险；② VLM token 预算限制深度分辨率/精度，度量精度大概率弱于 DriveMVS 等；③ 零样本定义模糊（在哪些分布外验证？）；④ 与 metric depth 模型（Metric3D-v2、UniDepth）的度量误差对比缺失。
- **可延展信号**：把 VLM 深度补全与占用世界模型结合，可作为"任意场景几何提示"。

### [P99] Unposed-to-3D: Learning Simulation-Ready Vehicles from Real-World Images
- **核心贡献**：两阶段——先用带位姿图像训练 image-to-3D，再去掉相机监督、用**相机预测头 + 可微渲染自监督**从无位姿图像学几何；加 scale-aware 与 harmonization 模块保证仿真就绪。
- **优点**：① 用自监督光度反馈绕过真实位姿标注，路径可扩展；② scale-aware 直接给真实尺寸，harmonization 解决域适应；③ 面向"仿真就绪"而非仅几何，落地导向清晰。
- **不足**：① 第一阶段 posed 训练与真实 unposed 的**域 gap** 未量化；② scale-aware 如何无标注获得真实尺度存疑（可能依赖数据集先验）；③ 评估缺与合成数据方法（如 3D 车辆生成模型）的对比；④ 多车辆一致性/跨数据集尺度一致性未测。
- **可延展信号**：把"仿真就绪"从单资产扩展到**长尾真实车辆分布**，接 P15 的长尾缺口。

### [P108] DVGT: Driving Visual Geometry Transformer
- **核心贡献**：从**无位姿多视角**序列直接重建全局稠密 3D 点图与逐帧位姿，用 DINO + 帧内/跨视角/跨帧交替注意力，无需显式几何先验，直接输出度量尺度。
- **优点**：① 免显式几何先验、免外部传感器后对齐，适配任意相机配置；② 混合 nuScenes/OpenScene/Waymo/KITTI/DDAD 训练，跨域强；③ 同时出点图与位姿，统一几何基础模型。
- **不足**：① "无显式几何先验"仍靠 DINO+注意力架构偏置，跨数据集**度量尺度一致性**（不同数据集尺度基准不同）未验证；② 长序列/大量视角显存与注意力复杂度（全局注意力）存疑；③ 与 VGGT（通用）相比，驾驶专用但缺直接头对头（同数据同协议）；④ 动态物体处理（点图对运动物体如何稳定）未充分讨论。
- **可延展信号**：以 VGGT/π3 为基座做驾驶域 LoRA/全参微调，比从零训 DVGT 更省算力且可对比。

### [P131] MAD: Motion Appearance Decoupling for efficient Driving World Models
- **核心贡献**：把通用视频扩散（SVD/LTX）改成驾驶世界模型时**解耦运动与外观**：先在骨架化智能体/场景上学结构化运动，再用同一 backbone"穿衣"合成 RGB。
- **优点**：① 用 <6% 算力匹配前 SOTA，效率惊艳；② "推理-渲染"两阶段符合物理先于外观的直觉；③ MAD-LTX 超所有开源竞品，支持文本/自车/物体多控制。
- **不足**：① 骨架化依赖检测/跟踪，非端到端，误差传播；② 骨架域丢失外观相关物理（如反光、材质导致的运动模糊）；③ 评测仍是 FVD/FID，**物理连贯/下游效用未证**；④ "6% 算力"的基线 SOTA 算力是否被夸大需核查。
- **可延展信号**：把"运动先验"从骨架换成**占用/BEV 运动场**，更几何可控且利于闭环。

### [P132] LightSplat: Fast and Memory-Efficient Open-Vocabulary 3D Scene Understanding in Five Seconds
- **核心贡献**：training-free 框架，向 3D 表征注入 **2 字节语义索引**（仅显著区域），轻量索引-特征映射 + 单步聚类链接 3D 几何/语义相关 mask。
- **优点**：① 50–400× 加速、64× 降显存，规模化的语言驱动 3D 理解；② 只标注显著区域，规避逐高斯密集特征的开销；③ LERF-OVS/ScanNet/DL3DV-OVS SOTA。
- **不足**：① 2 字节索引=256 桶，对细粒度开放词汇可能不够，靠映射到文本嵌入补；② "显著区域"使背景/稀有类**漏标**；③ 依赖外部分割/VLM（SAM+LangSAM），其误差传导；④ 主要室内评测，大尺度驾驶/室外显存与聚类鲁棒性未证；⑤ "5 秒"是否含预处理分割时间含糊。
- **可延展信号**：把"显著区域索引"做成驾驶场景的**任意传感器任意类**稀疏标注，接 TerraSeg 泛化缺口。

### [P151] GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation
- **核心贡献**：先用 **4D 占用**作物理基础（VAE 编码为三平面，仅 58% 前法 latent），Mutual Control Attention 建模控制对占用演化的影响，再用 Normalized Multi-View Attention 引导多视角视频生成。
- **优点**：① 占用引导天然物理感知，比单扩散直接映射动作→视频更稳；② 3.47M 参数 + 41 FPS 极轻量；③ 预测 mIoU +7.2%、FVD -20.7%，双向指标都好。
- **不足**：① 4D 占用需**前端占用预测器**先生成，该模块误差会污染视频；② "physics-aware"取决于占用本身物理一致，占用预测失败则无效；③ 仍用 FVD 评视频，缺闭环/下游效用；④ 41 FPS 的分辨率/视角数未明确，轻量参数是否牺牲画质需看样例。
- **可延展信号**：把 4D 占用世界模型接到规划器做**反事实 rollout 与闭环评测**，是 FVD 脱节的直接回应。

---

## 2. 方向发展态势

### 2.1 技术演进脉络

**A. 前馈式 3D/4D 重建（从几何流水线到基础模型）**
- DUSt3R (ECCV'24) 首次把"成对图像→点图"做成端到端前馈，但多视角仍需全局对齐后处理。
- MASt3R (ECCV'24) 加局部特征匹配，提升鲁棒性。
- VGGT (CVPR'25 **Best Paper**) 集大成：单 Transformer 一次推理出相机/深度/点图/轨迹，1.2B 参数、亚秒级、超越带 BA 的方法，确立"通用 3D 基础模型"范式。
- Fast3R / CUT3R (CVPR'25) 朝"多图一次看、持久状态/连续感知"推进，CUT3R 在静态+动态上微调实现前馈重建。
- π3 (arXiv'25) 用**置换等变**去除"固定参考视角"归纳偏置，对输入顺序鲁棒、可扩展，实测超 VGGT。
- 动态扩展：MonST3R (ICLR'25 Spotlight) 逐帧点图 + 滑动窗口处理动态；Div3R/Driv3R 引入记忆机制做大规模驾驶动态重建；4D-LRM/L4GM/DGS-LRM/BulletTimer 把前馈推到 4D 高斯。
- **范式转移本质**：测试时优化（NeRF/GS 逐场景）→ 前馈一次推理；代价是泛化靠数据规模、动态/长尾仍弱。

**B. 3DGS 及其动态扩展（显存友好、可编辑）**
- 3DGS→4DGS/Deformable-3DGS 解决时序；Street Gaussians (ECCV'24)、DrivingGaussian (CVPR'24)、OmniRe (CVPR'25) 把动态高斯用于驾驶，OmniRe 首次覆盖行人/骑行者等全动态角色，~60Hz 实时仿真。
- 价值：单场景优化、显存友好、易编辑——适合做仿真资产，但**缺"预测未来"能力**。

**C. 驾驶世界模型谱系（像素/隐空间生成）**
- GAIA-1 (NeurIPS'23) 开创"token 化多模态→自回归→扩散解码"；DriveDreamer (CVPR'24)→DriveDreamer-2 (AAAI'25)→DriveDreamer4D 加 LLM 提示、4D 连贯。
- Vista (CVPR'24)、Drive-WM (CVPR'24)、MagicDrive (ICLR'24)→MagicDriveDiT (CVPR'25) 走多视角 BEV/布局条件扩散。
- Cosmos / Cosmos-Predict/Transfer/Reason (NVIDIA'25) 把世界基础模型做成可后训练平台，Cosmos-Predict-2 支持 30s 预测、单视角→多视角，已用于 CARLA 神经重建。
- **关键批评**：这些基本在像素/隐空间生成视频，**FVD 与下游有用性脱节**，且从头训 14B 级 DiT 在 8×L40 不可行。

**D. 占用/BEV 空间世界模型（几何可控、显存小）**
- SurroundOcc / TPVFormer / OccNet / Occ3D / SparseOcc 建立占用预测基线。
- OccWorld (ECCV'24) 在 3D 占用空间用 VQ-VAE + GPT 式 Transformer 预测场景演化与自车轨迹，无需实例/地图标注——**首次把世界模型放到几何表征空间**。
- SparseWorld-TC (P70)、GenieDrive (P151) 延续并改进占用世界模型（端到端稀疏、4D 占用引导视频）。

**E. 神经重建式闭环仿真**
- UniSim (CVPR'24)、NeuRAD (CVPR'24)、HUGSIM、StreetCrafter 用重建场景做可重光照/重轨迹仿真——**高保真但受限于采集场景**，且"世界模型预测"能力弱。

**F. 物理推理评测**
- Physion (2021)、IntPhys (2021)→IntPhys 2 (2025)、Physics-IQ (2025)、PhysBench (ICLR'25, 10002 题/75 模型，人类 95.9% vs GPT-4o 49.5%)、WorldModelBench——从"事件级不可能性"走向"像素级牛顿量监督"（NewtPhys, arXiv'26）。

### 2.2 关键外部文献

| 文献 | 年份/会议 | 贡献 | 与本方向关系 |
|---|---|---|---|
| DUSt3R | ECCV'24 | 成对图像前馈重建点图 | 前馈范式起点 |
| MASt3R | ECCV'24 | +局部特征匹配 | 前馈鲁棒性 |
| VGGT | CVPR'25 Best | 统一 3D 基础模型，亚秒级 | 本方向几何基座首选 |
| Fast3R / CUT3R | CVPR'25 | 多图持久状态/连续感知 | 长序列前馈 |
| π3 | arXiv'25 | 置换等变去参考视角偏置 | 超越 VGGT 的几何基座 |
| MonST3R | ICLR'25 | 动态场景逐帧点图 | 动态前馈 |
| Div3R / Driv3R | arXiv'25 | 记忆机制大规模驾驶动态重建 | 驾驶动态前馈 |
| 4D-LRM / L4GM / DGS-LRM | arXiv'24-25 | 前馈 4D 高斯 | 单图/视频→4D |
| Street Gaussians | ECCV'24 | 驾驶动态高斯表征 | 仿真资产 |
| DrivingGaussian | CVPR'24 | 复合动态高斯图 | 驾驶重建 |
| OmniRe | CVPR'25 | 全动态角色重建~60Hz | 驾驶仿真 SOTA |
| GAIA-1 / GAIA-2 | NeurIPS'23 / '25 | 驾驶世界模型开创 | 像素空间 WM 谱系 |
| DriveDreamer 1/2/4D | CVPR'24 / AAAI'25 | LLM 提示可控驾驶视频 | 像素 WM |
| Vista / Drive-WM | CVPR'24 | 长视界扩散 rollout | 像素 WM |
| MagicDrive / MagicDriveDiT | ICLR'24 / CVPR'25 | BEV 条件多视角扩散 | 像素 WM |
| Cosmos (Predict/Transfer/Reason) | NVIDIA'25 | 可后训练世界基础模型平台 | 14B 级，仅 LoRA/后训练 |
| OccWorld | ECCV'24 | 占用空间 GPT 式世界模型 | 几何 WM 开创 |
| SurroundOcc / TPVFormer / SparseOcc | CVPR'22-24 | 占用预测基线 | WM 输入/表征 |
| UniSim / NeuRAD / HUGSIM | CVPR'24 | 神经重建闭环仿真 | 高保真仿真 |
| PhysBench / IntPhys 2 / Physics-IQ | ICLR'25 / '25 | 物理推理评测 | 物理基准 |
| WorldModelBench | 2025 | 世界模型综合评测 | 评测对齐 |
| NewtPhys | arXiv'26 | 像素级牛顿量监督 | 可证伪物理评测 |

### 2.3 当前 SOTA 格局与主流评测
- **前馈重建**：VGGT 在 RealEstate10K AUC@30 85.3（无 BA）、DTU Chamfer 0.382；π3 在姿态/深度/点图多项超 VGGT。
- **驾驶几何**：DVGT 跨 nuScenes/Waymo/KITTI/DDAD 混合 SOTA 度量深度；DriveMVS 在 KITTI/DDAD 零样本领先。
- **占用预测**：Occ3D-nuScenes、SurroundOcc 是标准；SparseOcc 走稀疏高效。
- **驾驶世界模型（像素）**：MagicDriveDiT、DriveDreamer-4D、MAD-LTX 居前，指标 FVD/FID（易 gameable）。
- **占用世界模型**：OccWorld、SparseWorld-TC (P70)、GenieDrive (P151) 在 nuScenes 占用预测/视频引导领先。
- **主流 benchmark**：nuScenes（占用/深度）、Occ3D-nuScenes、Waymo、KITTI/DDAD（度量深度）、ScanNet/7-Scenes、MegaDepth/IMC（重建）、Physion/Physics-IQ/PhysBench（物理）。
- **指标适用边界**：FVD/LPIPS 衡量画质但**不保证物理/几何正确**；mIoU 适用于占用但对细粒度几何不敏感；AbsRel 适用于深度但对尺度模糊敏感；Chamfer 适用于点云但受异常点影响。

### 2.4 方向级根本缺陷（Open Gaps）
1. **表征空间与下游有用性脱节**：像素/隐空间 WM 的 FVD 与规划、闭环评测效用长期不相关，缺"同一任务多空间头对头 + 机制解释"的研究。
2. **物体性/物质性无监督涌现不可证伪**：GenMatter/P54 展示了涌现，但缺可量化、可证伪的评测（如守恒律、刚体碰撞恢复），且未扩展到驾驶场景。
3. **长尾与任意传感器泛化是两道真实墙**：P15 只解稀疏度；TerraSeg 式"任意 LiDAR/相机/雷达"泛化在 3D 理解里基本空白。
4. **闭环价值验证缺位**：绝大多数 WM 论文只报生成质量，鲜有"用 WM 做策略评估/反事实 rollout 并实证提升下游"的工作。
5. **4D 占用/高斯引导的生成缺乏统一评测**：GenieDrive、Diff4Splat 各自为政，缺"几何表征质量↔视频质量↔下游效用"的联合指标。
6. **前馈式 4D 在长时序/新物体进入崩溃**：VGGT/MonST3R 类对动态稳健性有限，OccWorld 自承"预测新进入车辆失败"。
7. **物理评测从事件级走向像素级牛顿量**：PhysBench/IntPhys2 仍偏高层，缺驾驶场景的像素级物理（力/碰撞/变形）监督。

### 2.5 红海警告（不建议投入）
- **纯像素空间驾驶视频扩散（无几何引导）**：Cosmos、MagicDriveDiT、DriveDreamer 已卷到 14B 级，8×L40 无法从头训，且 FVD 已接近饱和/易 gameable，**不要碰**。
- **通用开放词汇 3D 理解（室内）**：LightSplat 类已 50–400× 加速、SOTA，室内场景接近饱和，**除非切到驾驶/室外长尾**。
- **单场景 3DGS 重建优化（无预测）**：Street/OmniRe 已 high-fidelity 实时，纯重建优化红利见顶，**必须与"预测/世界模型"结合才有新意**。
- **从零训 7B+ 视频 DiT**：硬件不可行，**仅 LoRA/后训练**。

---

## 3. 六个可扩展 Idea

### Idea 1：REP-4WM — 驾驶世界模型"表征空间"头对头与机制解释
- **一句话 Pitch**：在同一驾驶数据集、同一下游任务上，把世界模型在**像素 / 占用 / BEV 隐空间 / 高斯基元**四种表征空间里训练并头对头比较，给出"哪种空间预测未来最利于闭环规划"的可证伪结论与因果归因。
- **切入的 Gap**：Gap 1（表征空间与下游有用性脱节）+ P70/P151 只各自声称占用好但无对照。
- **核心技术方案**：
  - 统一接口：输入 (历史多视角帧 + 自车/物体轨迹条件)，输出未来 T 帧，在四空间分别实现——
    - 像素：SVD/LTX 轻量 LoRA（复用 MAD 骨架运动先验）；
    - 占用：OccWorld 式 VQ-VAE + GPT（稠密/稀疏两版）；
    - BEV 隐空间：BEV 条件 DiT latent；
    - 高斯：前馈 4DGS（Diff4Splat 式）出动态高斯场。
  - **机制解释模块（方法核心）**：用因果归因（扰动输入表征维度→测下游规划误差的 Sobel/积分梯度）量化"哪类信息（几何/外观/动力学）由哪空间承载"；提出 *Representation Utility Gap (RUG)* = 下游规划成功率提升 / 生成质量(FVD)。
  - 损失：各空间原生损失 + 统一的下游规划一致性正则（占用/高斯可直接算碰撞，像素需检测器）。
  - 与最接近工作 X 的精确 delta：**不是再训一个占用 WM，而是首个四空间同协议对照 + 因果归因解释"为什么占用比像素利于闭环"**。
- **新颖性论证**：审稿人或说"只是 benchmark"。反驳：① 含因果归因模块（机制贡献）；② 提出 RUG 指标把"生成质量"与"下游效用"解耦；③ 得出可证伪假设（H0：占用空间在闭环成功率上显著优于像素，p<0.05），而非列榜单。
- **实验方案**：
  - 数据集：nuScenes（公开，700 训练场景）、Occ3D-nuScenes、Waymo 开放；自造"反事实轨迹"子集（改自车/物体轨迹）。
  - Baselines：MAD-LTX（像素）、OccWorld（占用）、GenieDrive（4D 占用引导，P151）、Drive-WM（BEV 隐）。
  - 主表（行=方法，列= FVD↓ / mIoU↑（占用）/ Chamfer↓（高斯）/ RUG↑ / 闭环规划成功率↑ / 反事实一致性↑）。
  - 消融（≥4）：① 去掉因果归因正则→证明确实提升可解释性；② 稠密 vs 稀疏占用→证容量假设；③ 轨迹条件精度→证控制保真；④ 训练数据量缩放→证结论是否随规模翻转。
  - 分析：t-SNE 表征空间可视化 + 失败案例（新物体进入）跨空间对比；GPT-as-judge 仅作辅助。
  - 指标具名：FVD、mIoU（Occ3D）、Chamfer（点云/高斯）、AbsRel（深度，DriveMVS 协议）、nuScenes 规划成功率、PhysBench 物理一致性子集。
- **8×L40 可行性核算**：
  - Backbone：像素用 SVD/LTX LoRA（7B，ZeRO-2+LoRA，~22GB/卡）；占用 GPT ~300M 全参（<8GB）；BEV DiT ~1.3B LoRA；4DGS 前馈 ~0.5B 全参。
  - 显存：每卡峰值约 40GB（LoRA+激活），满足 48GB。
  - 预算：主实验 ≤ 900 GPU·h（四空间各 ~200h 训练 + 评测）；总 ≤ 1500 GPU·h（13 天内）。
  - 降级：若 4DGS 前馈不稳，改用 Diff4Splat 预训练权重冻结只训条件头（~100h）。
- **风险与退路**：最大风险——四空间下游效用差异不显著（都差不多）。退路：退为"机制解释+RUG 指标"方法论文（仍中稿），结论改为"在特定 OOD 反事实下占用显著更优"。

### Idea 2：OccWM-Lite — 轻量轨迹条件占用世界模型 + 闭环规划头
- **一句话 Pitch**：在 8×L40 可全参训练的 ~300M 占用世界模型上，直接挂一个可微规划头，用**反事实轨迹 rollout** 做策略评估，证明"小模型几何 WM 比大模型像素 WM 更利于闭环"。
- **切入的 Gap**：Gap 4（闭环价值缺位）+ P70 只报预测精度未接规划。
- **核心技术方案**：
  - 架构：SparseWorld-TC (P70) 风格端到端稀疏占用预测 + 新增**可微规划头**（占用体素→可行区域/碰撞代价→轨迹得分）。
  - 训练：占用预测损失（CE on 占用类 + 时序一致性）+ 规划头对比损失（真值轨迹得分 > 反事实轨迹）。
  - 反事实 rollout：给定策略 π，用 WM 生成未来 T 帧占用，规划头算碰撞/可达性，作为策略评分——形成"世界模型即评估器"。
  - 与 X 的 delta：**不是又一个占用预测器，而是把占用 WM 变成可微、可反事实的规划评估器，并给出下游效用量化**。
- **新颖性论证**：审稿人或说"OccWorld 已做规划"。反驳：OccWorld 规划是 token 自回归出 ego token，不可微、不可反事实；我们做**连续占用场 + 可微代价**，支持任意反事实策略评分。
- **实验方案**：
  - 数据集：nuScenes、Occ3D-nuScenes（公开）；闭环用 nuPlan 或 CARLA 接 WM 评估器。
  - Baselines：OccWorld、SparseWorld-TC (P70)、MAD-LTX（像素 WM 作对照）、UniAD（级联基线）。
  - 主表：占用预测 mIoU↑ / 闭环碰撞率↓ / 策略排序 Kendall's τ↑（WM 评分 vs 真实仿真回报）/ 推理延迟↓。
  - 消融：① 去掉可微规划头→证闭环增益来自 WM 而非启发式；② 稀疏 vs 稠密占用；③ 反事实数量→τ 收敛性；④ 训练数据缩放。
  - 分析：可视化反事实 rollout（如"如果自车加速会撞哪"），GPT-as-judge 不用，用真实仿真回报验证 τ。
  - 指标：mIoU（Occ3D）、Chamfer、nuPlan 闭环指标、Kendall's τ、AbsRel。
- **8×L40 可行性核算**：
  - Backbone 300M 全参（占用 Transformer），bf16 + grad ckpt，单卡 ~10GB；8 卡 DP，~16GB 余量。
  - 预算：训练 ≤ 400 GPU·h；闭环评测（CARLA）CPU/GPU 混合 ≤ 200 GPU·h；总 ≤ 700 GPU·h。
  - 降级：若 CARLA 集成难，用 nuPlan 开环重放 + WM 评分近似。
- **风险与退路**：风险——WM 评分与真实回报 τ 不高。退路：退为"轻量占用 WM 预测 SOTA + 可视化反事实"（稳定中稿）。

### Idea 3：EMERGE-Obj — 无监督物体性与动力学定律涌现（可证伪评测）
- **一句话 Pitch**：在**无标注真实视频**上，用前馈几何基座（VGGT/π3）+ 时序一致性约束，涌现出"可独立运动的物体/部件"分解与近似动力学，并用**可证伪的物理定律恢复测试**（刚体守恒、碰撞不变性）评测，而非只报分割 IoU。
- **切入的 Gap**：Gap 2（物体性无监督涌现不可证伪）+ GenMatter (P28) / P54 缺驾驶扩展与可证伪评测。
- **核心技术方案**：
  - 输入：无标注多视角/视频；用 VGGT/π3 出逐帧点图 + 点轨迹。
  - 物体性涌现：对点轨迹做**时序聚类 + 运动协方差分解**（类比 P54 的运动相关性），得到候选物体/部件；用"反事实未来一致性"（GenMatter 式 block Gibbs 改可微分 EM） refinement。
  - 动力学可证伪评测：构造 *Physics Falsification Suite*——(a) 刚体守恒：扰动一物体，其余物体运动是否符合动量守恒；(b) 碰撞不变性：两物体相遇后速度方向是否符合弹性/非弹性假设；(c) 支撑稳定性：物体放置后是否保持静止。
  - 与 X 的 delta：**不是再做一个 object-centric 分割，而是把"物体涌现"接到可证伪的物理定律恢复，并首次在驾驶/真实视频验证**。
- **新颖性论证**：审稿人或说"GenMatter 已做物质模型"。反驳：GenMatter 用 Gibbs 采样不可扩展、未到驾驶、无物理定律可证伪评测；我们改成**可微分前馈 + 物理定律 falsification**，且覆盖真实视频。
- **实验方案**：
  - 数据集：Physion/IntPhys 2（合成物理，可证伪）、Waymo/nuScenes 动态物体（真实）、自采桌面视频。
  - Baselines：GenMatter (P28)、SAVi、DINOSAUR、P54、VGGT+聚类。
  - 主表：物体分割 mIoU/ARI↑ / 动力学恢复误差（动量/能量残差）↓ / 反事实一致性↑ / 跨域（合成→真实）泛化↑。
  - 消融：① 去掉时序一致性约束→证分解质量来源；② 运动协方差 vs 纯外观聚类；③ 前馈基座（VGGT vs π3）影响；④ 视频长度。
  - 分析：可视化涌现物体边界 vs GT；物理定律残差直方图（证明"涌现"确实学到守恒）。
  - 指标：ARI、mIoU、PhysBench 物理动力学子集、自定义动量/能量残差。
- **8×L40 可行性核算**：
  - 基座 VGGT 1.2B 冻结（推理 only，~12GB）；上层聚类+EM 头 ~50M 全参。单卡 ~16GB。
  - 预算：微调头 + EM ≤ 300 GPU·h；评测 ≤ 100 GPU·h；总 ≤ 500 GPU·h。
  - 降级：若真实视频物理不可证伪，聚焦 Physion/IntPhys2（合成）出强结论 + 真实视频定性。
- **风险与退路**：风险——真实视频物理定律不可证伪（无 GT）。退路：退为"合成场景可证伪涌现 SOTA + 真实视频定性迁移"（仍 oral 潜力）。

### Idea 4：EvalDrive — 反事实闭环仿真协议，实证 FVD 与有用性脱节
- **一句话 Pitch**：提出 **CCLS（Counterfactual Closed-Loop Simulation）协议**：用占用/BEV 世界模型生成反事实驾驶场景，喂给规划器，用真实仿真回报验证"生成质量指标（FVD）与下游效用几乎无关"，并给出 WM 选型指南。
- **切入的 Gap**：Gap 1 + Gap 4（FVD 脱节 + 闭环价值缺位）+ MAD (P131)/GenieDrive (P151) 只报 FVD/FID。
- **核心技术方案**：
  - 用 4 种 WM（像素 MAD-LTX、占用 OccWorld、4D 占用 GenieDrive、BEV Drive-WM）生成同初始条件、不同反事实轨迹的驾驶视频。
  - 把生成视频/占用喂给固定规划器（UniAD / 规则规划器），在 CARLA/nuPlan 跑闭环，记录碰撞率、舒适度、达标率。
  - 核心统计量：**效用-质量解耦系数** ρ(FVD, 下游效用) 与跨 WM 排名翻转率。
  - 与 X 的 delta：**不是又提一个 WM，而是首个系统性实证"FVD 误导 WM 选型"并给出反事实闭环评测协议**。
- **新颖性论证**：审稿人或说"只是评测"。反驳：① 提出可复现的 CCLS 协议（方法贡献）；② 给出 ρ 与排名翻转的**定量颠覆性结论**；③ 附带"WM 选型指南"实用产出。
- **实验方案**：
  - 数据集：nuScenes、CARLA 反事实场景库（自建，~2000 场景）、Waymo。
  - Baselines：4 类 WM 同上；规划器 UniAD、PPAD、规则。
  - 主表：FVD↓ / 闭环碰撞率↓ / 达标率↑ / ρ(FVD, 达标率) / 排名翻转次数。
  - 消融：① 不同规划器下结论是否稳健；② 反事实难度（轻/重干预）；③ 生成分辨率对下游影响；④ 评测场景数缩放。
  - 分析：展示"FVD 最优 WM 在闭环最差"的具体案例；GPT-as-judge 不用（用真实仿真回报）。
  - 指标：FVD、mIoU（占用）、nuPlan/CARLA 闭环指标、Kendall's τ。
- **8×L40 可行性核算**：
  - MAD-LTX LoRA（7B，ZeRO-2）~22GB/卡；OccWorld ~300M 全参；GenieDrive 3.47M 轻量；Drive-WM ~1B LoRA。
  - 预算：4 WM 推理生成 ~400 GPU·h；CARLA 闭环 ~300 GPU·h；总 ≤ 1000 GPU·h。
  - 降级：CARLA 重则用 nuPlan 开环重放评估。
- **风险与退路**：风险——ρ 接近 0（FVD 与效用相关），则结论弱。退路：聚焦"排名翻转"（即使相关，选型仍错），且可加"几何正确性"指标强化论点。

### Idea 5：FF-4DSim — 前馈式动态高斯世界模型（VGGT/π3 全参微调）
- **一句话 Pitch**：以 VGGT/π3（0.5–1B，可全参微调）为几何基座，加时序头直接前馈输出**动态 4D 高斯场 + 占用**，实现"单/少图→可仿真 4D 场景"，兼顾几何可控与显存友好。
- **切入的 Gap**：Gap 6（前馈 4D 长时序/新物体崩溃）+ Diff4Splat (P50) 依赖视频扩散先验、几何不可控。
- **核心技术方案**：
  - 基座 VGGT/π3 全参微调（驾驶混合数据 nuScenes/Waymo/KITTI/DDAD），加 **时序变形头**（每高斯形变场）+ 占用解码头。
  - 监督：几何损失（点图/深度 Chamfer）+ 占用 CE + 视频扩散蒸馏（用 SVD 预训练作为教师，仅蒸馏外观，几何自监督）。
  - 与 X 的 delta：**不是 Diff4Splat 式"视频扩散→高斯"，而是"几何基座→高斯+占用"双向，几何由前馈基座保证、外观由蒸馏补全，显存仅 1B 可全参**。
- **新颖性论证**：审稿人或说"4DGS/L4GM 已做前馈 4D"。反驳：它们是物体级/单视角；我们是**驾驶场景级、几何基座驱动、附占用，且全参微调 Vicuna 级基座**而非从头。
- **实验方案**：
  - 数据集：nuScenes、Waymo、KITTI/DDAD（公开）；自采多视角驾驶。
  - Baselines：Diff4Splat (P50)、Street Gaussians、OmniRe、VGGT+后优化。
  - 主表：新视角 PSNR/SSIM/LPIPS↑ / 动态 Chamfer↓ / 占用 mIoU↑ / 推理时间↓ / 显存↓。
  - 消融：① 全参 vs LoRA（基座）；② 占用头是否有用；③ 视频蒸馏权重；④ 新物体进入场景的鲁棒性。
  - 分析：时序一致性可视化、长时序（>5s）退化曲线。
  - 指标：PSNR、SSIM、LPIPS、Chamfer、mIoU、AbsRel。
- **8×L40 可行性核算**：
  - 基座 ~1B 全参（ZeRO-2 + bf16 + grad ckpt），单卡 ~30GB；8 卡 DP。
  - 预算：全参微调 ~800 GPU·h；评测 ~200 GPU·h；总 ≤ 1200 GPU·h。
  - 降级：若 1B 全参不稳，改 π3-LoRA（<400 GPU·h）。
- **风险与退路**：风险——全参微调基座在驾驶域过拟合/遗忘。退路：退为 LoRA + 冻结基座，结论聚焦"几何基座驱动的前馈 4D 优于纯扩散式"。

### Idea 6：LongTail-Sim — 长尾真实资产 + 任意传感器泛化分割（新问题定义）
- **一句话 Pitch**：定义新任务 **"Simulation-Ready Long-Tail Asset Generation (SRLTA)"**：从任意传感器（相机/激光雷达/事件/无位姿）的真实长尾图像，生成"可直接进仿真、尺度一致、任意类可分割"的车辆/场景资产；并提出 TerraSim 框架与评测。
- **切入的 Gap**：Gap 3（长尾 + 任意传感器泛化）+ P15（长尾重建只解稀疏度）+ P99（Unposed-to-3D 仅相机）+ LightSplat (P132)（显著区域漏标）。
- **核心技术方案**：
  - 任务定义：输入任意传感器图像（可能无位姿、任意类），输出① 仿真就绪 3D 资产（网格+尺度+材质）；② 任意类 3D 语义/实例分割（接 TerraSeg 式任意 LiDAR 泛化）。
  - TerraSim 框架：模态无关编码（把 LiDAR/事件/相机投影到统一鸟瞰 token）→ 几何解码（3DGS/网格）→ 尺度 head（来自 P99 scale-aware 思想）→ 任意类分割 head（稀疏标注，接 LightSplat 索引思想但扩到全场景）。
  - 与 X 的 delta：**不是 Unposed-to-3D 的相机单模态，也不是 LightSplat 的室内显著区域，而是"任意传感器→长尾仿真资产 + 任意类分割"的统一新任务**。
- **新颖性论证**：审稿人或说"只是组合 P99+LightSplat"。反驳：① 定义了新任务 SRLTA 并给协议；② 模态无关编码解决 TerraSeg 泛化缺口；③ 长尾资产分布评测（用 P15 的 MegaDepth-X 思路扩展）是新贡献。
- **实验方案**：
  - 数据集：nuScenes（多模态）、Waymo（LiDAR+相机）、P15 MegaDepth-X（长尾）、自采无位姿真实车辆、KITTI/DDAD。
  - Baselines：Unposed-to-3D (P99)、LightSplat (P132)、TerraSeg、OpenRLHF 式 3D 生成。
  - 主表：资产几何 Chamfer↓ / 尺度误差↓ / 任意类分割 mIoU↑（含稀有类）/ 跨传感器零样本泛化↑。
  - 消融：① 模态无关 vs 单模态编码；② 尺度 head 贡献；③ 长尾采样策略（P15 vs 均匀）；④ 稀疏标注比例对分割影响。
  - 分析：长尾类（罕见车辆/施工设备）重建质量可视化；跨传感器（LiDAR→相机）零样本分割。
  - 指标：Chamfer、AbsRel、mIoU（含长尾类）、零样本跨传感器迁移误差。
- **8×L40 可行性核算**：
  - 编码 ~0.5B（LoRA 或全参），几何解码 + 分割头 ~100M。单卡 ~20GB。
  - 预算：训练 ~600 GPU·h；长尾评测 ~150 GPU·h；总 ≤ 900 GPU·h。
  - 降级：先只做相机→资产，LiDAR/事件作为零样本评测（不训练）。
- **风险与退路**：风险——任意传感器统一编码难、长尾类无 GT。退路：退为"相机无位姿→长尾仿真资产 + 任意类分割"（仍新任务），LiDAR 作零样本验证。

---

## 4. 优先级建议

| Idea | 新颖度 | 工作量 | 风险 | 8×L40 契合度 | 推荐投稿目标 | 建议启动顺序 |
|---|---|---|---|---|---|---|
| 1 REP-4WM | 高（机制解释+RUG） | 中 | 中 | 高（LoRA+小模型） | CVPR/ICCV 常规/口头 | 1（打地基、出对照结论） |
| 2 OccWM-Lite | 中 | 低 | 低 | 极高（300M 全参） | CVPR 稳定中稿 | 2（快速出闭环实证） |
| 3 EMERGE-Obj | 很高（可证伪物理） | 中 | 高 | 高（冻结基座） | NeurIPS/ICLR 口头潜力 | 4（高风险高回报） |
| 4 EvalDrive | 高（颠覆 FVD 迷信） | 中 | 中 | 高（复用现有 WM） | CVPR 口头/TPAMI | 3（实证脱节，强攻击点） |
| 5 FF-4DSim | 中高（几何基座驱动 4D） | 中高 | 中 | 高（1B 全参可行） | ICCV/CVPR | 5 |
| 6 LongTail-Sim | 很高（新任务定义） | 中 | 中高 | 高 | CVPR 新任务/口头 | 6（新任务，需早定义协议） |

**梯度满足度**：Idea 2、Idea 1 → 低风险 3 个月稳定中稿；Idea 3、Idea 4 → 高风险高回报（oral 潜力）；Idea 6 → 新问题/新任务定义型。全部可在 8×L40 上完成（主实验 ≤1200 GPU·h，总 ≤1500 GPU·h）。

**建议路径**：先并行启动 Idea 1（对照结论可喂给其他 idea 的 motivational 叙述）与 Idea 2（最快出闭环实证），用 Idea 4 的 CCLS 协议作为全组的统一评测语言；Idea 3/6 作为高回报探索，Idea 5 作为几何基座支撑。