Finding Things in the Unknown: Semantic Object-Centric Exploration with an MAV

要約

自律移動ロボットによる未知の空間の探索は、よく研究されている問題です。
この作業では、できるだけ多くの自由空間を明らかにするという純粋な幾何学的目標を超えて、調査の範囲を広げます。
多くの実用的なアプリケーションでは、タスク固有の探索のための環境のセマンティックおよびオブジェクトレベルの理解により、探索をコンテキスト化する必要があると考えています。
ここでは、未知の空間で特定のオブジェクトを見つけることと、それらをターゲットレベルの詳細に再構築することの両方のタスクを研究します。
したがって、環境の再構築を拡張して、背景マップだけでなく、オブジェクトレベルおよび意味的に融合されたサブマップも構成するようにします。
重要なことは、2 つの追加要素を使用して、できるだけ短い時間でできるだけ多くの自由空間を明らかにするという以前の目的関数を適応させることです。まず、画像ベースの検出器によってターゲット オブジェクトが見落とされないようにするために、背景表面の最大観測距離が必要です。
小さすぎて検出できないからです。
第 2 に、見つかったオブジェクトを必要な精度で再構築するためには、見つかったオブジェクトまでの最大距離をさらに小さくする必要があります。
さらに、探査の一環として特定のオブジェクトを効率的に見つけるためにフレームワークを使用する方法を定量的に実証するために、Habitat に基づく Micro Aerial Vehicle (MAV) セマンティック探査シミュレーターを作成しました。
最後に、Intel RealSense D455 RGB-D カメラを搭載したドローンを含む現実世界のシーンにこの機能を展開できることを紹介します。

要約(オリジナル)

Exploration of unknown space with an autonomous mobile robot is a well-studied problem. In this work we broaden the scope of exploration, moving beyond the pure geometric goal of uncovering as much free space as possible. We believe that for many practical applications, exploration should be contextualised with semantic and object-level understanding of the environment for task-specific exploration. Here, we study the task of both finding specific objects in unknown space as well as reconstructing them to a target level of detail. We therefore extend our environment reconstruction to not only consist of a background map, but also object-level and semantically fused submaps. Importantly, we adapt our previous objective function of uncovering as much free space as possible in as little time as possible with two additional elements: first, we require a maximum observation distance of background surfaces to ensure target objects are not missed by image-based detectors because they are too small to be detected. Second, we require an even smaller maximum distance to the found objects in order to reconstruct them with the desired accuracy. We further created a Micro Aerial Vehicle (MAV) semantic exploration simulator based on Habitat in order to quantitatively demonstrate how our framework can be used to efficiently find specific objects as part of exploration. Finally, we showcase this capability can be deployed in real-world scenes involving our drone equipped with an Intel RealSense D455 RGB-D camera.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google