Poutine: Vision-Language-Trajectory Pre-Training and Reinforcement Learning Post-Training Enable Robust End-to-End Autonomous Driving

要約

ロングテールドライビングシナリオでエンドツーエンドの自律運転に合わせて調整された3Bパラメータービジョン言語モデル（VLM）であるPoutineを紹介します。
プーチンは2つの段階で訓練されています。
強力なベース駆動能力を得るために、83時間のコブラ名目運転と11時間のWaymoロングテールドライビングで、自己監視視覚様式の挑発（VLT）の次のトークン予測ファッションでプーチンベースを訓練します。
付随する言語注釈は、72BパラメーターVLMで自動生成されます。
Poutineは、WAYMO検証セットから500枚の優先順位標識フレーム未満を使用して、グループ相対ポリシー最適化（GRPO）を備えた微調整Poutine-Baseによって取得されます。
VLTプレイトレーニングとRL微調整の両方が、ロングテールで強力な運転性能を達成するために重要であることを示しています。
Poutine-Baseは、検証セットで8.12の評価者フィードバックスコア（RFS）を達成し、Waymoの専門家のグラウンドトゥルースRFとほぼ一致します。
最終的なPoutineモデルは、公式のWaymoテストセットで7.99のRFSを達成し、2025年のWaymo Visionベースのエンドツーエンドのドライビングチャレンジで大きなマージンで1位になりました。
これらの結果は、堅牢で一般化可能な自律性を有効にするために、スケーラブルなVLTプリトレーニングおよび軽量RL微調整の約束を強調しています。

要約(オリジナル)

We present Poutine, a 3B-parameter vision-language model (VLM) tailored for end-to-end autonomous driving in long-tail driving scenarios. Poutine is trained in two stages. To obtain strong base driving capabilities, we train Poutine-Base in a self-supervised vision-language-trajectory (VLT) next-token prediction fashion on 83 hours of CoVLA nominal driving and 11 hours of Waymo long-tail driving. Accompanying language annotations are auto-generated with a 72B-parameter VLM. Poutine is obtained by fine-tuning Poutine-Base with Group Relative Policy Optimization (GRPO) using less than 500 preference-labeled frames from the Waymo validation set. We show that both VLT pretraining and RL fine-tuning are critical to attain strong driving performance in the long-tail. Poutine-Base achieves a rater-feedback score (RFS) of 8.12 on the validation set, nearly matching Waymo’s expert ground-truth RFS. The final Poutine model achieves an RFS of 7.99 on the official Waymo test set, placing 1st in the 2025 Waymo Vision-Based End-to-End Driving Challenge by a significant margin. These results highlight the promise of scalable VLT pre-training and lightweight RL fine-tuning to enable robust and generalizable autonomy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google