Vision and Language Navigation in the Real World via Online Visual Language Mapping

要約

目に見えない環境でのナビゲーションは、移動ロボットにとって非常に重要です。
自然言語での指示に従う能力を強化することで、目に見えないケースでのナビゲーション効率がさらに向上します。
ただし、最先端 (SOTA) 視覚言語ナビゲーション (VLN) 手法は主にシミュレーションで評価され、複雑でノイズの多い現実世界は無視されます。
シミュレーションでトレーニングされた SOTA ナビゲーション ポリシーを現実世界に直接転送することは、視覚領域のギャップと目に見えない環境に関する事前知識の欠如により困難です。
この研究では、現実世界での VLN タスクに対処するための新しいナビゲーション フレームワークを提案します。
強力な基盤モデルを利用して、提案されたフレームワークには 4 つの重要なコンポーネントが含まれています。(1) 言語命令を一連の事前定義されたマクロアクション記述に変換する LLM ベースの命令パーサー、(2) オンラインのビジュアル言語マッパー
目に見えない環境の空間的および意味論的な理解を維持するためのリアルタイムの視覚言語マップを構築します。(3) 各マクロアクションの記述をマップ上のウェイポイントの位置に基礎付ける言語インデックスベースのローカライザー。(4)
アクションを予測する DD-PPO ベースのローカル コントローラー。
提案されたパイプラインを、未確認のラボ環境で Interbotix LoCoBot WX250 上で評価します。
微調整を行わなくても、私たちのパイプラインは現実世界の SOTA VLN ベースラインを大幅に上回ります。

要約(オリジナル)

Navigating in unseen environments is crucial for mobile robots. Enhancing them with the ability to follow instructions in natural language will further improve navigation efficiency in unseen cases. However, state-of-the-art (SOTA) vision-and-language navigation (VLN) methods are mainly evaluated in simulation, neglecting the complex and noisy real world. Directly transferring SOTA navigation policies trained in simulation to the real world is challenging due to the visual domain gap and the absence of prior knowledge about unseen environments. In this work, we propose a novel navigation framework to address the VLN task in the real world. Utilizing the powerful foundation models, the proposed framework includes four key components: (1) an LLMs-based instruction parser that converts the language instruction into a sequence of pre-defined macro-action descriptions, (2) an online visual-language mapper that builds a real-time visual-language map to maintain a spatial and semantic understanding of the unseen environment, (3) a language indexing-based localizer that grounds each macro-action description into a waypoint location on the map, and (4) a DD-PPO-based local controller that predicts the action. We evaluate the proposed pipeline on an Interbotix LoCoBot WX250 in an unseen lab environment. Without any fine-tuning, our pipeline significantly outperforms the SOTA VLN baseline in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google