Think, Act, and Ask: Open-World Interactive Personalized Robot Navigation

要約

Zero-Shot Object Navigation (ZSON) を使用すると、エージェントは未知の環境にあるオープン語彙オブジェクトに移動できます。
ZSON の既存の作品は主に、個別の指示に従って汎用オブジェクト クラスを見つけることに焦点を当てており、自然言語対話の利用やユーザー固有のオブジェクトを識別する複雑さは無視されています。
これらの制限に対処するために、Zero-shot Interactive Personalized Object Navigation (ZIPON) を導入しました。これにより、ロボットはユーザーと会話しながら、パーソナライズされた目標オブジェクトに移動する必要があります。
ZIPON を解決するために、我々は、Open-woRld Interactive persOnalized Navigation (ORION) と呼ばれる新しいフレームワークを提案します。このフレームワークは、大規模言語モデル (LLM) を使用して、知覚、ナビゲーション、およびコミュニケーションのためのさまざまなモジュールを操作するための逐次的な決定を行います。
実験結果は、ユーザーのフィードバックを活用できる対話型エージェントのパフォーマンスが大幅に向上することを示しています。
ただし、タスクの完了とナビゲーションと対話の効率との間で適切なバランスを取ることは、どの方法でも依然として課題です。
さらに、さまざまなユーザー フィードバック フォームがエージェントのパフォーマンスに与える影響に関するさらなる調査結果も提供します。
コードは https://github.com/sled-group/navchat で入手できます。

要約(オリジナル)

Zero-Shot Object Navigation (ZSON) enables agents to navigate towards open-vocabulary objects in unknown environments. The existing works of ZSON mainly focus on following individual instructions to find generic object classes, neglecting the utilization of natural language interaction and the complexities of identifying user-specific objects. To address these limitations, we introduce Zero-shot Interactive Personalized Object Navigation (ZIPON), where robots need to navigate to personalized goal objects while engaging in conversations with users. To solve ZIPON, we propose a new framework termed Open-woRld Interactive persOnalized Navigation (ORION), which uses Large Language Models (LLMs) to make sequential decisions to manipulate different modules for perception, navigation and communication. Experimental results show that the performance of interactive agents that can leverage user feedback exhibits significant improvement. However, obtaining a good balance between task completion and the efficiency of navigation and interaction remains challenging for all methods. We further provide more findings on the impact of diverse user feedback forms on the agents’ performance. Code is available at https://github.com/sled-group/navchat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google