Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs

要約

ナビゲーション研究におけるとらえどころのない目標は、自然言語や画像を含むマルチモーダルな命令を理解し、有用なナビゲーションを実行できるインテリジェント エージェントを構築することです。
これを達成するために、私たちは、デモンストレーション ツアーを伴うマルチモーダル インストラクション ナビゲーション (MINT) と呼ぶ、広く有用なカテゴリのナビゲーション タスクを研究します。このタスクでは、事前に録画されたデモンストレーション ビデオを通じて事前の環境が提供されます。
ビジョン言語モデル (VLM) の最近の進歩は、マルチモーダルな入力を認識して推論する能力を実証するため、この目標を達成するための有望な道筋を示しています。
ただし、VLM は通常、テキスト出力を予測するようにトレーニングされており、ナビゲーションで VLM を最適に利用する方法については未解決の研究課題です。
MINT を解決するために、ロングコンテキスト VLM の環境理解と常識的推論能力、およびトポロジー グラフに基づく堅牢な低レベル ナビゲーション ポリシーを組み合わせた階層型ビジョン言語アクション (VLA) ナビゲーション ポリシーであるモビリティ VLA を提案します。
高レベルのポリシーは、デモ ツアー ビデオとマルチモーダル ユーザー指示を入力として受け取り、ツアー ビデオ内のゴール フレームを見つけるロング コンテキスト VLM で構成されます。
次に、低レベルのポリシーは、ゴール フレームとオフラインで構築されたトポロジー グラフを使用して、タイムステップごとにロボットのアクションを生成します。
私たちは 836m^2 の実世界環境でモビリティ VLA を評価し、モビリティ VLA が「これをどこに返せばよいですか?」など、これまで未解決だったマルチモーダルな命令に対して高いエンドツーエンドの成功率を示すことを示しました。
プラスチックのゴミ箱を持ちながら。

要約(オリジナル)

An elusive goal in navigation research is to build an intelligent agent that can understand multimodal instructions including natural language and image, and perform useful navigation. To achieve this, we study a widely useful category of navigation tasks we call Multimodal Instruction Navigation with demonstration Tours (MINT), in which the environment prior is provided through a previously recorded demonstration video. Recent advances in Vision Language Models (VLMs) have shown a promising path in achieving this goal as it demonstrates capabilities in perceiving and reasoning about multimodal inputs. However, VLMs are typically trained to predict textual output and it is an open research question about how to best utilize them in navigation. To solve MINT, we present Mobility VLA, a hierarchical Vision-Language-Action (VLA) navigation policy that combines the environment understanding and common sense reasoning power of long-context VLMs and a robust low-level navigation policy based on topological graphs. The high-level policy consists of a long-context VLM that takes the demonstration tour video and the multimodal user instruction as input to find the goal frame in the tour video. Next, a low-level policy uses the goal frame and an offline constructed topological graph to generate robot actions at every timestep. We evaluated Mobility VLA in a 836m^2 real world environment and show that Mobility VLA has a high end-to-end success rates on previously unsolved multimodal instructions such as ‘Where should I return this?’ while holding a plastic bin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google