GAIA-1: A Generative World Model for Autonomous Driving

要約

自動運転は交通手段の革新的な改善を約束しますが、現実世界のシナリオの構造化されていない複雑さを安全にナビゲートできるシステムを構築することは依然として困難です。
重要な問題は、世界が進化するにつれて車両の動作に応じて現れる可能性のあるさまざまな潜在的な結果を効果的に予測することにあります。
この課題に対処するために、当社は GAIA-1 (「Generative AI for Autonomy」) を導入します。これは、ビデオ、テキスト、アクション入力を活用して現実的な運転シナリオを生成すると同時に、自車両の動作やシーンに対するきめ細かい制御を提供する生成世界モデルです。
特徴。
私たちのアプローチは、入力を離散トークンにマッピングし、シーケンス内の次のトークンを予測することによって、ワールド モデリングを教師なしシーケンス モデリング問題として投影します。
私たちのモデルから新たに得られる特性には、高レベルの構造とシーンのダイナミクスの学習、コンテキストの認識、一般化、ジオメトリの理解が含まれます。
将来の出来事の予想を捉える GAIA-1 の学習表現の力と、現実的なサンプルを生成する機能を組み合わせることで、自動運転分野におけるイノベーションの新たな可能性がもたらされ、自動運転技術のトレーニングの強化および加速が可能になります。

要約(オリジナル)

Autonomous driving promises transformative improvements to transportation, but building systems capable of safely navigating the unstructured complexity of real-world scenarios remains challenging. A critical problem lies in effectively predicting the various potential outcomes that may emerge in response to the vehicle’s actions as the world evolves. To address this challenge, we introduce GAIA-1 (‘Generative AI for Autonomy’), a generative world model that leverages video, text, and action inputs to generate realistic driving scenarios while offering fine-grained control over ego-vehicle behavior and scene features. Our approach casts world modeling as an unsupervised sequence modeling problem by mapping the inputs to discrete tokens, and predicting the next token in the sequence. Emerging properties from our model include learning high-level structures and scene dynamics, contextual awareness, generalization, and understanding of geometry. The power of GAIA-1’s learned representation that captures expectations of future events, combined with its ability to generate realistic samples, provides new possibilities for innovation in the field of autonomy, enabling enhanced and accelerated training of autonomous driving technology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google