Navi2Gaze: Leveraging Foundation Models for Navigation and Target Gazing

要約

タスク認識ナビゲーションは、特にオープンボキャブラリーを含むシナリオにおいて、引き続き研究が困難な分野です。
これまでの研究は主にタスクを完了するのに適した場所を見つけることに焦点を当てており、ロボットのポーズの重要性が見落とされていることがよくありました。
ただし、オブジェクトの配置方法（冷蔵庫のドアを開けるなど）により、ロボットの向きはタスクを正常に完了するために非常に重要です。
人間は、セマンティクスと常識を使用して、正しい向きでオブジェクトに直感的に移動します。
たとえば、冷蔵庫を開けるとき、私たちは自然に冷蔵庫の横ではなく前に立ちます。
最近の進歩により、視覚言語モデル (VLM) がロボットに同様の常識を提供できることが示唆されています。
したがって、タスクの説明に基づいて効率的なナビゲーションとオブジェクトの注視を行うための、Navigation-to-Gaze (Navi2Gaze) と呼ばれる VLM 駆動のメソッドを開発します。
この方法では、VLM を使用してスコアを付け、多数の候補から最適なポーズを自動的に選択します。
複数のフォトリアリスティックなシミュレーション ベンチマークでの評価において、Navi2Gaze は既存のアプローチを大幅に上回り、ターゲット オブジェクトに対する最適な方向を正確に決定します。

要約(オリジナル)

Task-aware navigation continues to be a challenging area of research, especially in scenarios involving open vocabulary. Previous studies primarily focus on finding suitable locations for task completion, often overlooking the importance of the robot’s pose. However, the robot’s orientation is crucial for successfully completing tasks because of how objects are arranged (e.g., to open a refrigerator door). Humans intuitively navigate to objects with the right orientation using semantics and common sense. For instance, when opening a refrigerator, we naturally stand in front of it rather than to the side. Recent advances suggest that Vision-Language Models (VLMs) can provide robots with similar common sense. Therefore, we develop a VLM-driven method called Navigation-to-Gaze (Navi2Gaze) for efficient navigation and object gazing based on task descriptions. This method uses the VLM to score and select the best pose from numerous candidates automatically. In evaluations on multiple photorealistic simulation benchmarks, Navi2Gaze significantly outperforms existing approaches and precisely determines the optimal orientation relative to target objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google