Open-Nav: Exploring Zero-Shot Vision-and-Language Navigation in Continuous Environment with Open-Source LLMs

要約

Vision and-Language Navigation（VLN）タスクでは、3D環境をナビゲートするためにテキストの指示に従うエージェントが必要です。
従来のアプローチでは、ドメイン固有のデータセットに大きく依存してVLNモデルをトレーニングするために、監視された学習方法を使用しています。
最近の方法では、GPT-4などのクローズドソースの大型言語モデル（LLM）を利用して、ゼロショットマナーでVLNタスクを解決しますが、実際のアプリケーションでの高価なトークンコストと潜在的なデータ侵害に関連する課題に直面しています。
この作業では、連続環境でゼロショットVLNのオープンソースLLMSを調査する新しい研究であるOpen-Navを紹介します。
Open-Navは、空間的な時代の考え方（COT）の推論アプローチを採用して、タスクを命令理解、進捗の推定、意思決定に分解します。
ナビゲーションにおけるLLMの推論を改善するために、きめ細かいオブジェクトと空間知識を使用してシーンの認識を高めます。
シミュレートされた環境と現実世界の両方の環境での当社の広範な実験は、open-navがクローズドソースLLMを使用するのと比較して競争力のあるパフォーマンスを達成することを示しています。

要約(オリジナル)

Vision-and-Language Navigation (VLN) tasks require an agent to follow textual instructions to navigate through 3D environments. Traditional approaches use supervised learning methods, relying heavily on domain-specific datasets to train VLN models. Recent methods try to utilize closed-source large language models (LLMs) like GPT-4 to solve VLN tasks in zero-shot manners, but face challenges related to expensive token costs and potential data breaches in real-world applications. In this work, we introduce Open-Nav, a novel study that explores open-source LLMs for zero-shot VLN in the continuous environment. Open-Nav employs a spatial-temporal chain-of-thought (CoT) reasoning approach to break down tasks into instruction comprehension, progress estimation, and decision-making. It enhances scene perceptions with fine-grained object and spatial knowledge to improve LLM’s reasoning in navigation. Our extensive experiments in both simulated and real-world environments demonstrate that Open-Nav achieves competitive performance compared to using closed-source LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google