GOAT-Bench: A Benchmark for Multi-Modal Lifelong Navigation

要約

Embodied AI コミュニティは、3D 座標、オブジェクト、言語記述、画像からターゲットを探索するビジュアル ナビゲーション タスクで大幅な進歩を遂げました。
ただし、これらのナビゲーション モデルは、多くの場合、単一の入力モダリティのみをターゲットとして処理します。
これまでに達成された進歩により、さまざまな種類の目標を処理できるユニバーサル ナビゲーション モデルに移行し、ロボットとのより効果的なユーザー インタラクションを可能にする時期が来ています。
この目標を促進するために、GO to AnyThing (GOAT) と呼ばれるユニバーサル ナビゲーション タスクのベンチマークである GOAT-Bench を提案します。
このタスクでは、エージェントは、カテゴリ名、言語説明、または画像によって指定された一連のターゲットに自由な語彙形式でナビゲートするように指示されます。
私たちは、GOAT タスクに関するモノリシック RL およびモジュラー手法のベンチマークを行い、モダリティ全体のパフォーマンス、明示的および暗黙的なシーン記憶の役割、目標仕様におけるノイズに対する堅牢性、生涯シナリオにおける記憶の影響を分析します。

要約(オリジナル)

The Embodied AI community has made significant strides in visual navigation tasks, exploring targets from 3D coordinates, objects, language descriptions, and images. However, these navigation models often handle only a single input modality as the target. With the progress achieved so far, it is time to move towards universal navigation models capable of handling various goal types, enabling more effective user interaction with robots. To facilitate this goal, we propose GOAT-Bench, a benchmark for the universal navigation task referred to as GO to AnyThing (GOAT). In this task, the agent is directed to navigate to a sequence of targets specified by the category name, language description, or image in an open-vocabulary fashion. We benchmark monolithic RL and modular methods on the GOAT task, analyzing their performance across modalities, the role of explicit and implicit scene memories, their robustness to noise in goal specifications, and the impact of memory in lifelong scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google