NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation

要約

視覚と言語のナビゲーション (VLN) は、身体化型 AI の主要な研究課題であり、エージェントが言語の指示に従って目に見えない環境をナビゲートできるようにすることを目的としています。
この分野では、配布外のシーンやシムからリアルへの一般化が長年の課題です。
この論文では、このような一般化ギャップを軽減するために、ビデオベースのラージ ビジョン言語モデル (VLM) である NaVid を提案します。
NaVid は、地図、走行距離計、または深度入力なしで最先端レベルのナビゲーション パフォーマンスを達成する VLM の機能を紹介する最初の試みを行います。
人間の指示に従って、NaVid は次のステップのアクションを出力するために、ロボットに装備された単眼 RGB カメラからのオンザフライ ビデオ ストリームのみを必要とします。
私たちの定式化は人間のナビゲーション方法を模倣しており、走行距離計のノイズやマップまたは深度入力からの Sim2Real のギャップによってもたらされる問題を自然に取り除きます。
さらに、私たちのビデオベースのアプローチは、意思決定と指示に従うための時空間コンテキストとしてロボットの歴史的観察を効果的にエンコードできます。
NaVid は、763,000 の大規模 Web データとともに、アクション計画や指示推論のサンプルなど、継続的な環境から収集された 510,000 のナビゲーション サンプルを使用してトレーニングされます。
広範な実験により、NaVid がシミュレーション環境と現実世界で最先端のパフォーマンスを達成し、優れたデータセット間転送と Sim2Real 転送が実証されたことが示されています。
したがって、私たちが提案する VLM アプローチは、ナビゲーション エージェントだけでなく、この研究分野の次のステップを計画していると考えています。

要約(オリジナル)

Vision-and-language navigation (VLN) stands as a key research problem of Embodied AI, aiming at enabling agents to navigate in unseen environments following linguistic instructions. In this field, generalization is a long-standing challenge, either to out-of-distribution scenes or from Sim to Real. In this paper, we propose NaVid, a video-based large vision language model (VLM), to mitigate such a generalization gap. NaVid makes the first endeavor to showcase the capability of VLMs to achieve state-of-the-art level navigation performance without any maps, odometers, or depth inputs. Following human instruction, NaVid only requires an on-the-fly video stream from a monocular RGB camera equipped on the robot to output the next-step action. Our formulation mimics how humans navigate and naturally gets rid of the problems introduced by odometer noises, and the Sim2Real gaps from map or depth inputs. Moreover, our video-based approach can effectively encode the historical observations of robots as spatio-temporal contexts for decision making and instruction following. We train NaVid with 510k navigation samples collected from continuous environments, including action-planning and instruction-reasoning samples, along with 763k large-scale web data. Extensive experiments show that NaVid achieves state-of-the-art performance in simulation environments and the real world, demonstrating superior cross-dataset and Sim2Real transfer. We thus believe our proposed VLM approach plans the next step for not only the navigation agents but also this research field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google