Active Visual Search in the Wild

要約

この論文では、視覚センサー（RGBDカメラなど）を搭載した移動ロボットを使用して、自由形式の言語で記述されたターゲットオブジェクトを効率的に配置する問題に焦点を当てています。
従来のアクティブ ビジュアル検索では、検索するオブジェクトのセットが事前に定義されているため、これらの手法は実際には制限されていました。
アクティブなビジュアル検索に柔軟性を追加するために、ユーザーが自由形式の言語を使用してターゲット コマンドを入力できるシステムを提案します。
私たちはこのシステムを Active Visual Search in the Wild (AVSW) と呼んでいます。
AVSW は、静的なランドマーク (机やベッドなど) によって表されるセマンティック グリッド マップを介して、ユーザーによって入力されたターゲット オブジェクトを検出し、検索を計画します。
オブジェクト検索パターンを効率的に計画するために、AVSW は常識的な知識に基づく共起と予測の不確実性を考慮して、最初に訪れるランドマークを決定します。
シミュレートされた環境と実際の環境の両方で、SR (成功率) と SPL (パスの長さによって重み付けされた成功) に関して提案された方法を検証します。
提案された方法は、平均ギャップが 0.283 のシミュレートされたシナリオで SPL に関して以前の方法よりも優れています。
さらに、実世界の研究で Pioneer-3AT ロボットを使用した AVSW を示します。

要約(オリジナル)

In this paper, we focus on the problem of efficiently locating a target object described with free-form language using a mobile robot equipped with vision sensors (e.g., an RGBD camera). Conventional active visual search predefines a set of objects to search for, rendering these techniques restrictive in practice. To provide added flexibility in active visual searching, we propose a system where a user can enter target commands using free-form language; we call this system Active Visual Search in the Wild (AVSW). AVSW detects and plans to search for a target object inputted by a user through a semantic grid map represented by static landmarks (e.g., desk or bed). For efficient planning of object search patterns, AVSW considers commonsense knowledge-based co-occurrence and predictive uncertainty while deciding which landmarks to visit first. We validate the proposed method with respect to SR (success rate) and SPL (success weighted by path length) in both simulated and real-world environments. The proposed method outperforms previous methods in terms of SPL in simulated scenarios with an average gap of 0.283. We further demonstrate AVSW with a Pioneer-3AT robot in real-world studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google