Towards Learning a Generalist Model for Embodied Navigation

要約

世界と対話できるジェネラリスト・エージェントの構築は、AIシステムの興味深い目標であり、そのため、エージェントが指示に従ってナビゲートしたり、問い合わせに応答したりすることが要求される、具現化されたナビゲーションの研究に拍車をかけている。大きな進歩が達成されたにもかかわらず、これまでの研究は主にタスクに特化したエージェントを対象としており、未知のシナリオに対する汎用性に欠けている。近年、LLMは様々な分野で目覚ましい能力を発揮しており、具現化されたナビゲーションの有望な機会を提供している。このことを踏まえ、我々は具現化されたナビゲーションのための最初の汎化モデル、NaviLLMを提案する。NaviLLMは、スキーマベースの命令を導入することで、LLMを具現化ナビゲーションに適応させる。スキーマに基づく指示は、様々なタスクを生成問題に柔軟にキャストし、それによって幅広いタスクを統一する。このアプローチにより、様々なデータセットからの多様なデータソースを学習に統合することができ、NaviLLMに具現化ナビゲーションに必要な幅広い能力を装備させることができる。我々のモデルの性能と汎用性を評価するために、広範な実験を行った。実験の結果、我々の統一モデルがCVDN、SOON、ScanQAにおいて最先端の性能を達成したことが実証された。特に、CVDNにおけるゴール進捗において、29%という大きなマージンをもって、従来の標準的な手法を凌駕した。さらに、我々のモデルは強い一般性を示し、未知のタスク、例えば、具現化質問応答や3Dキャプションでも印象的な結果を示す。

要約(オリジナル)

Building a generalist agent that can interact with the world is the intriguing target of AI systems, thus spurring the research for embodied navigation, where an agent is required to navigate according to instructions or respond to queries. Despite the major progress attained, previous works primarily focus on task-specific agents and lack generalizability to unseen scenarios. Recently, LLMs have presented remarkable capabilities across various fields, and provided a promising opportunity for embodied navigation. Drawing on this, we propose the first generalist model for embodied navigation, NaviLLM. It adapts LLMs to embodied navigation by introducing schema-based instruction. The schema-based instruction flexibly casts various tasks into generation problems, thereby unifying a wide range of tasks. This approach allows us to integrate diverse data sources from various datasets into the training, equipping NaviLLM with a wide range of capabilities required by embodied navigation. We conduct extensive experiments to evaluate the performance and generalizability of our model. The experimental results demonstrate that our unified model achieves state-of-the-art performance on CVDN, SOON, and ScanQA. Specifically, it surpasses the previous stats-of-the-art method by a significant margin of 29% in goal progress on CVDN. Moreover, our model also demonstrates strong generalizability and presents impressive results on unseen tasks, e.g., embodied question answering and 3D captioning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL