CarFormer: Self-Driving with Learned Object-Centric Representations

要約

自動運転では表現の選択が重要な役割を果たします。
近年、Bird’s eye view（BEV）表現のパフォーマンスが目覚ましいものとなっています。
この論文では、複雑なシーンを自動運転のためのより実用的な情報に抽出するために、BEV でオブジェクト中心の表現を学習することを提案します。
まず、BEV シーケンスのスロット アテンション モデルを使用して、オブジェクトをスロットに配置する方法を学習します。
これらのオブジェクト中心の表現に基づいて、トランスフォーマーが運転方法を学習し、他の車両の将来について推論できるように訓練します。
オブジェクト中心のスロット表現は、オブジェクトの正確な属性を使用するシーンレベルおよびオブジェクトレベルのアプローチの両方よりも優れていることがわかりました。
スロット表現には、位置、方位、速度などの空間的および時間的コンテキストからのオブジェクトに関する情報が、明示的に提供されることなく自然に組み込まれます。
スロットを備えたモデルでは、提供されたルートの完走率が向上し、その結果、複数の走行にわたる差異が小さくなり、より高い運転スコアが得られ、スロットがオブジェクト中心のアプローチの信頼できる代替手段であることが確認されています。
さらに、予測実験を通じて世界モデルとしてのモデルのパフォーマンスを検証し、将来のスロット表現を正確に予測する機能を実証しました。
コードと事前トレーニングされたモデルは https://kuis-ai.github.io/CarFormer/ にあります。

要約(オリジナル)

The choice of representation plays a key role in self-driving. Bird’s eye view (BEV) representations have shown remarkable performance in recent years. In this paper, we propose to learn object-centric representations in BEV to distill a complex scene into more actionable information for self-driving. We first learn to place objects into slots with a slot attention model on BEV sequences. Based on these object-centric representations, we then train a transformer to learn to drive as well as reason about the future of other vehicles. We found that object-centric slot representations outperform both scene-level and object-level approaches that use the exact attributes of objects. Slot representations naturally incorporate information about objects from their spatial and temporal context such as position, heading, and speed without explicitly providing it. Our model with slots achieves an increased completion rate of the provided routes and, consequently, a higher driving score, with a lower variance across multiple runs, affirming slots as a reliable alternative in object-centric approaches. Additionally, we validate our model’s performance as a world model through forecasting experiments, demonstrating its capability to predict future slot representations accurately. The code and the pre-trained models can be found at https://kuis-ai.github.io/CarFormer/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google