One Map to Find Them All: Real-time Open-Vocabulary Mapping for Zero-shot Multi-Object Navigation

要約

複雑な環境でオブジェクトを効率的に検索する機能は、現実世界の多くのロボット アプリケーションの基礎となります。
オープン語彙視覚モデルの最近の進歩により、意味論的に情報を与えられたオブジェクト ナビゲーション方法が実現され、事前のトレーニングなしでロボットが任意のオブジェクトを検索できるようになりました。
ただし、これらのゼロショット手法では、これまでのところ、連続するクエリごとに環境が未知のものとして扱われてきました。
このペーパーでは、ゼロショット複数オブジェクト ナビゲーションの新しいベンチマークを紹介します。これにより、ロボットは以前の検索で収集した情報を活用して、新しいオブジェクトをより効率的に見つけることができます。
この問題に対処するために、リアルタイムのオブジェクト検索に合わせて調整された再利用可能なオープン語彙特徴マップを構築します。
さらに、意味論的特徴抽出における一般的なエラーの原因を軽減し、この意味論的不確実性を情報に基づいた複数オブジェクトの探索に活用する確率的意味論的マップ更新を提案します。
Jetson Orin AGX でリアルタイムに実行されるシミュレーションと実際のロボットの両方で、一連のオブジェクト ナビゲーション タスクでメソッドを評価します。
単一オブジェクトと複数オブジェクトのナビゲーション タスクの両方において、既存の最先端のアプローチよりも優れたパフォーマンスを発揮することを実証します。
追加のビデオ、コード、マルチオブジェクト ナビゲーション ベンチマークは https://finnbsch.github.io/OneMap で入手できます。

要約(オリジナル)

The capability to efficiently search for objects in complex environments is fundamental for many real-world robot applications. Recent advances in open-vocabulary vision models have resulted in semantically-informed object navigation methods that allow a robot to search for an arbitrary object without prior training. However, these zero-shot methods have so far treated the environment as unknown for each consecutive query. In this paper we introduce a new benchmark for zero-shot multi-object navigation, allowing the robot to leverage information gathered from previous searches to more efficiently find new objects. To address this problem we build a reusable open-vocabulary feature map tailored for real-time object search. We further propose a probabilistic-semantic map update that mitigates common sources of errors in semantic feature extraction and leverage this semantic uncertainty for informed multi-object exploration. We evaluate our method on a set of object navigation tasks in both simulation as well as with a real robot, running in real-time on a Jetson Orin AGX. We demonstrate that it outperforms existing state-of-the-art approaches both on single and multi-object navigation tasks. Additional videos, code and the multi-object navigation benchmark will be available on https://finnbsch.github.io/OneMap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google