集成感知-规划-控制全链路,在 CARLA/MetaDrive 中闭环仿真,掌握模型部署与端到端评估。
本章将前 16 章的所有模块整合为完整的自动驾驶系统,连接仿真器进行闭环评估,分析失败案例。这是从 "模型训练" 到 "系统部署" 的关键一步。
Sensors → Perception → Prediction → Planner → Controller → Actuator
- Perception: 检测 + 跟踪 + 地图
- Prediction: 预测其他 agent 未来轨迹
- Planner: 规划自车轨迹 (VLA/UniAD/VAD)
- Controller: 将轨迹转化为 control 指令 (PID/MPC)
高保真 3D 仿真 (Unreal Engine 5):
- 逼真的视觉和物理
- 多种城市地图和天气条件
- 需要 GPU, 配置较复杂
轻量级程序化生成仿真:
- 快速迭代, RL 友好
- 程序化生成多样场景
- 纯 Python, 易于安装
用于快速原型和教学:
- 简化的车辆动力学
- 零外部依赖
- 适合快速验证
最简单的轨迹跟踪:
- Lateral: 转弯控制 (cross-track error → steering)
- Longitudinal: 速度控制 (speed error → throttle/brake)
模型预测控制:
- 在线优化控制序列
- 考虑车辆动力学约束
- 计算量大但性能好
从数据集评估, 不实际执行:
- ADE: 平均位移误差
- FDE: 终点位移误差
- MR: 超出阈值的比例
在仿真器中实际执行:
- Route Completion: 完成路线百分比
- Collision Rate: 碰撞率 (越低越好)
- Comfort: 舒适度 (jerk 越低越好)
- Driving Score: 综合评分
项目地址: vla_learn/chapter17_system_integration/
预计时间: 1-2 天