Finding Things in the Unknown: Semantic Object-Centric Exploration with an MAV

要約

自律移動ロボットによる未知空間の探索は、よく研究されている問題である。この研究では、探索の範囲を広げ、できるだけ多くの自由空間を発見するという純粋な幾何学的目標を超えている。多くの実用的なアプリケーションでは、探索は、タスクに特化した探索のために、環境の意味的およびオブジェクトレベルの理解によって文脈化されるべきだと考えている。ここでは、未知の空間から特定の物体を見つけるだけでなく、それらを目標レベルの詳細さまで再構築するタスクを研究する。そのため、我々は環境再構成を、背景マップだけでなく、オブジェクトレベルと意味的に融合されたサブマップから構成されるように拡張する。重要なのは、できるだけ短時間でできるだけ多くの自由空間を発見するという従来の目的関数に、2つの要素を追加したことです。1つ目は、目標物が小さすぎて画像ベースの検出器で検出されないように、背景面の最大観察距離を要求することです。2つ目は、検出された物体を所定の精度で再構成するために、物体までの最大距離をさらに小さくすることです。さらに、HabitatをベースにしたMAV（Micro Aerial Vehicle）意味探索シミュレータを作成し、探索の一環として特定のオブジェクトを効率的に見つけるために、本フレームワークをどのように使用できるかを定量的に実証した。最後に、Intel RealSense D455 RGB-Dカメラを搭載したドローンを用いて、この機能を実世界のシーンで展開できることを紹介します。

要約(オリジナル)

Exploration of unknown space with an autonomous mobile robot is a well-studied problem. In this work we broaden the scope of exploration, moving beyond the pure geometric goal of uncovering as much free space as possible. We believe that for many practical applications, exploration should be contextualised with semantic and object-level understanding of the environment for task-specific exploration. Here, we study the task of both finding specific objects in unknown space as well as reconstructing them to a target level of detail. We therefore extend our environment reconstruction to not only consist of a background map, but also object-level and semantically fused submaps. Importantly, we adapt our previous objective function of uncovering as much free space as possible in as little time as possible with two additional elements: first, we require a maximum observation distance of background surfaces to ensure target objects are not missed by image-based detectors because they are too small to be detected. Second, we require an even smaller maximum distance to the found objects in order to reconstruct them with the desired accuracy. We further created a Micro Aerial Vehicle (MAV) semantic exploration simulator based on Habitat in order to quantitatively demonstrate how our framework can be used to efficiently find specific objects as part of exploration. Finally, we showcase this capability can be deployed in real-world scenes involving our drone equipped with an Intel RealSense D455 RGB-D camera.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL