Zero-shot Active Visual Search (ZAVIS): Intelligent Object Search for Robotic Assistants

要約

この論文では、視覚センサー（RGBDカメラなど）を搭載した移動ロボットを使用して、自由形式の言語で記述されたターゲットオブジェクトを効率的に配置する問題に焦点を当てています。
従来のアクティブ ビジュアル検索では、検索するオブジェクトのセットが事前に定義されているため、これらの手法は実際には制限されていました。
アクティブなビジュアル検索に柔軟性を追加するために、ユーザーが自由形式の言語を使用してターゲット コマンドを入力できるシステムを提案します。
このシステムをゼロショット アクティブ ビジュアル サーチ (ZAVIS) と呼んでいます。
ZAVIS は、静的なランドマーク (机やベッドなど) で表されるセマンティック グリッド マップを介して、ユーザーが入力した対象オブジェクトを検出し、検索を計画します。
オブジェクト検索パターンを効率的に計画するために、ZAVIS は常識知識に基づく共起と予測の不確実性を考慮して、最初に訪れるランドマークを決定します。
シミュレートされた環境と実際の環境の両方で、SR (成功率) と SPL (パスの長さによって重み付けされた成功) に関して提案された方法を検証します。
提案された方法は、平均ギャップが 0.283 のシミュレートされたシナリオで SPL に関して以前の方法よりも優れています。
さらに、実世界の研究で Pioneer-3AT ロボットを使用して ZAVIS を実証します。

要約(オリジナル)

In this paper, we focus on the problem of efficiently locating a target object described with free-form language using a mobile robot equipped with vision sensors (e.g., an RGBD camera). Conventional active visual search predefines a set of objects to search for, rendering these techniques restrictive in practice. To provide added flexibility in active visual searching, we propose a system where a user can enter target commands using free-form language; we call this system Zero-shot Active Visual Search (ZAVIS). ZAVIS detects and plans to search for a target object inputted by a user through a semantic grid map represented by static landmarks (e.g., desk or bed). For efficient planning of object search patterns, ZAVIS considers commonsense knowledge-based co-occurrence and predictive uncertainty while deciding which landmarks to visit first. We validate the proposed method with respect to SR (success rate) and SPL (success weighted by path length) in both simulated and real-world environments. The proposed method outperforms previous methods in terms of SPL in simulated scenarios with an average gap of 0.283. We further demonstrate ZAVIS with a Pioneer-3AT robot in real-world studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google