首页/教程/VLA 端到端自动驾驶教程

VLA 端到端自动驾驶学习体系

从 Transformer 基础到 VLA 端到端自动驾驶的完整学习路径。面向 CNN 感知算法工程师，17 章系统教程，每章可运行、可实验、可复现。

PyTorchTransformer/GPTLLaVACLIP BEVFormerRT-2/OpenVLACARLADiffusion Policy

学习路线

第一阶段：基础夯实（大模型基础） ├── 第1章：Transformer 深入与 LLM 基础 ├── 第2章：视觉基础模型 (ViT, MAE, DINO) └── 第3章：视觉-语言对齐 (CLIP & SigLIP) 第二阶段：多模态大模型 ├── 第4章：多模态大语言模型 (LLaVA 风格) ├── 第5章：多模态理解与推理 └── 第6章：视频理解模型 第三阶段：自动驾驶感知基础 ├── 第7章：3D 视觉与 BEV 感知 ├── 第8章：占据网络 (Occupancy Network) └── 第9章：端到端感知框架 第四阶段：规划与控制 ├── 第10章：轨迹预测 ├── 第11章：模仿学习与行为克隆 ├── 第12章：扩散策略 (Diffusion Policy) └── 第13章：强化学习规划 第五阶段：VLA 端到端自动驾驶 ├── 第14章：VLA 模型架构 (RT-2, OpenVLA) ├── 第15章：端到端驾驶模型 (UniAD, VAD) ├── 第16章：世界模型 (World Model) └── 第17章：VLA 完整系统集成
第一阶段：基础夯实（大模型基础）
1

🔤 第1章：Transformer 与 LLM 基础

从零实现 Mini-GPT，深入理解 Attention 数学本质、RoPE、KV-Cache、Flash Attention，完整预训练/SFT/DPO 流程。

Multi-Head AttentionRoPEKV-CacheFlash Attention
2

👁️ 第2章：视觉基础模型

从零实现 ViT、MAE 预训练、DINO 自监督学习，掌握 Swin Transformer、Deformable DETR 等层次化视觉架构。

ViTMAEDINO/DINOv2Swin Transformer
3

🔗 第3章：视觉-语言对齐 (CLIP)

从零实现 CLIP 双编码器架构，掌握对比学习（InfoNCE/SigLIP）、Zero-shot 迁移和图文检索。

CLIP对比学习InfoNCESigLIP
第二阶段：多模态大模型
4

🖼️ 第4章：多模态大语言模型 (LLaVA)

从零实现 Mini-LLaVA，掌握 Vision Encoder + Projector + LLM 架构，两阶段训练（特征对齐 + 指令微调）。

LLaVAVision-Language 连接器两阶段训练多图推理
5

🧠 第5章：多模态理解与推理

构建多模态推理系统，涵盖视觉定位（Grounding）、多模态思维链（Visual CoT）、多模态 Agent 与 RAG。

视觉定位Visual CoT多模态 Agent多模态 RAG
6

🎬 第6章：视频理解模型

构建驾驶视频理解模型，掌握 3D Conv/TimeSformer 视频编码、时序池化、Video-LLM 架构与流式处理。

TimeSformerVideoMAEVideo-LLM时序池化
第三阶段：自动驾驶感知基础
7

🗺️ 第7章：3D 视觉与 BEV 感知

从零实现 BEV 感知系统（LSS + BEVFormer），掌握多视图几何、坐标变换、时序融合与多传感器融合。

LSSBEVFormerBEVDet多视图几何
8

📦 第8章：占据网络 (Occupancy Network)

从多视图图像预测 3D 语义占据，涵盖稠密/稀疏占据、时序融合、3D Gaussian Splatting 与 NeRF。

Occupancy Network3D 体素化时序占据融合NeRF
9

🎯 第9章：端到端感知框架

构建多任务感知框架：检测 + 分割 + 深度 + 跟踪，掌握任务平衡、梯度调和与实时推理优化。

多任务学习感知 head 设计TensorRTONNX
第四阶段：规划与控制
10

📈 第10章：轨迹预测

实现交互式轨迹预测（VectorNet、SceneTransformer），掌握多模态未来生成与社会交互建模。

VectorNetSceneTransformer多模态轨迹目标条件预测
11

🕹️ 第11章：模仿学习与行为克隆

实现驾驶行为克隆（BC/DAgger/ACT），掌握动作分块、自回归策略与驾驶风格迁移。

行为克隆DAggerACT动作分块
12

🌊 第12章：扩散策略 (Diffusion Policy)

从零实现 DDPM/DDIM，构建 Diffusion Policy 用于驾驶动作生成，掌握条件扩散与 Classifier-Free Guidance。

DDPMDDIMDiffusion PolicyDiT
13

🎮 第13章：强化学习规划

用 PPO/Decision Transformer 训练驾驶策略，掌握离线 RL（CQL/IQL）、安全 RL 与 RLHF 用于驾驶。

PPODecision Transformer离线RL安全RL
第五阶段：VLA 端到端自动驾驶
14

🤖 第14章：VLA 模型架构

从零实现 Mini-VLA，深入理解 RT-2/OpenVLA/Octo 架构，掌握 Action Tokenization 与多模态输入编码。

RT-2OpenVLAOctoAction Tokenization
15

🚗 第15章：端到端驾驶模型

实现 VAD/UniAD 风格规划器，掌握感知-规划联合训练、可解释性分析与安全性验证。

UniADVADGenADDriveVLM
16

🌍 第16章：世界模型 (World Model)

实现驾驶世界模型和视频预测，涵盖 GAIA-1/DriveDreamer 架构、潜在动力学与闭环仿真。

GAIA-1DriveDreamer视频预测潜在动力学
17

🏁 第17章：VLA 完整系统集成

集成感知-规划-控制全链路，在 CARLA/MetaDrive 中闭环仿真，掌握模型部署与端到端评估。

CARLAMetaDriveTensorRT闭环评估

关于本教程

本教程面向CNN 自动驾驶感知算法工程师，以"从零实现"为核心理念，每章包含：

源码

完整 Python 源码可在 GitHub 获取（含每章配置、生成脚本和可运行代码）。

github.com/Jingnan-Jia/vlm_learn →

← 返回教程列表