第17章

第17章:VLA 完整系统集成

集成感知-规划-控制全链路,在 CARLA/MetaDrive 中闭环仿真,掌握模型部署与端到端评估。

CARLAMetaDriveTensorRT闭环评估端到端系统

端到端 VLA 自动驾驶系统部署


前言

本章将前 16 章的所有模块整合为完整的自动驾驶系统,连接仿真器进行闭环评估,分析失败案例。这是从 "模型训练" 到 "系统部署" 的关键一步。


第一部分:系统架构

1.1 Pipeline 概览


Sensors → Perception → Prediction → Planner → Controller → Actuator

1.2 模块职责

- Perception: 检测 + 跟踪 + 地图

- Prediction: 预测其他 agent 未来轨迹

- Planner: 规划自车轨迹 (VLA/UniAD/VAD)

- Controller: 将轨迹转化为 control 指令 (PID/MPC)


第二部分:仿真器接口

2.1 CARLA

高保真 3D 仿真 (Unreal Engine 5):

- 逼真的视觉和物理

- 多种城市地图和天气条件

- 需要 GPU, 配置较复杂

2.2 MetaDrive

轻量级程序化生成仿真:

- 快速迭代, RL 友好

- 程序化生成多样场景

- 纯 Python, 易于安装

2.3 Mock Simulator

用于快速原型和教学:

- 简化的车辆动力学

- 零外部依赖

- 适合快速验证


第三部分:控制器

3.1 PID 控制器

最简单的轨迹跟踪:

- Lateral: 转弯控制 (cross-track error → steering)

- Longitudinal: 速度控制 (speed error → throttle/brake)

3.2 MPC 控制器

模型预测控制:

- 在线优化控制序列

- 考虑车辆动力学约束

- 计算量大但性能好


第四部分:评估指标

4.1 开环评估

从数据集评估, 不实际执行:

- ADE: 平均位移误差

- FDE: 终点位移误差

- MR: 超出阈值的比例

4.2 闭环评估

在仿真器中实际执行:

- Route Completion: 完成路线百分比

- Collision Rate: 碰撞率 (越低越好)

- Comfort: 舒适度 (jerk 越低越好)

- Driving Score: 综合评分


项目地址: vla_learn/chapter17_system_integration/
预计时间: 1-2 天