Constraint-Aware Zero-Shot Vision-Language Navigation in Continuous Environments

要約

ゼロショット設定の下で、連続環境（VLN-CE）におけるビジョン言語ナビゲーションのタスクに対処します。
ゼロショットVLN-CEは、ガイドナビゲーションの前にトレーニングのための専門家のデモがなく、環境構造を最小限に抑えているため、特に困難です。
これらの課題に立ち向かうために、ゼロショットVLN-CEを連続的な制約対応のサブインストラクション完了プロセスとして再構成する制約対応ナビゲーター（CA-NAV）を提案します。
CA-NAVは、2つのコアモジュールを使用して、サブインストラクションをナビゲーションプランに継続的に変換します：制約アウェアサブインストラクションマネージャー（CSM）と制約対応値マッパー（CVM）。
CSMは、分解されたサブインストラクションの完了基準を制約として定義し、サブインストラクションを制約対応方法で切り替えることにより、ナビゲーションの進行を追跡します。
CSMの制約に導かれたCVMは、その場でバリューマップを生成し、スーパーピクセルのクラスタリングを使用してナビゲーションの安定性を向上させます。
CA-NAVは、2つのVLN-CEベンチマークで最先端のパフォーマンスを達成し、それぞれR2R-CEとRXR-CEの検証が見えない分割の成功率が12％および13％を超えています。
さらに、Ca-Navは、さまざまな屋内シーンや指示にわたる実際のロボットの展開における有効性を示しています。

要約(オリジナル)

We address the task of Vision-Language Navigation in Continuous Environments (VLN-CE) under the zero-shot setting. Zero-shot VLN-CE is particularly challenging due to the absence of expert demonstrations for training and minimal environment structural prior to guide navigation. To confront these challenges, we propose a Constraint-Aware Navigator (CA-Nav), which reframes zero-shot VLN-CE as a sequential, constraint-aware sub-instruction completion process. CA-Nav continuously translates sub-instructions into navigation plans using two core modules: the Constraint-Aware Sub-instruction Manager (CSM) and the Constraint-Aware Value Mapper (CVM). CSM defines the completion criteria for decomposed sub-instructions as constraints and tracks navigation progress by switching sub-instructions in a constraint-aware manner. CVM, guided by CSM’s constraints, generates a value map on the fly and refines it using superpixel clustering to improve navigation stability. CA-Nav achieves the state-of-the-art performance on two VLN-CE benchmarks, surpassing the previous best method by 12 percent and 13 percent in Success Rate on the validation unseen splits of R2R-CE and RxR-CE, respectively. Moreover, CA-Nav demonstrates its effectiveness in real-world robot deployments across various indoor scenes and instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google