A System for Generalized 3D Multi-Object Search

要約

物体の探索は、ロボットにとって基本的なスキルである。そのため、物体探索は、物体検出やSLAMなどと同様に、いずれはロボットの標準的な能力となることが期待される。しかし、現実のロボットや環境に対して汎用性のある3次元物体探索のシステムは存在しない。本論文では、3次元の信念を表現するためのオクツリー構造を利用した最近の理論的枠組みを基に、ロボットに依存せず、環境に依存しない、3次元領域におけるマルチオブジェクト探索（MOS）のための最初の汎用システムであるGenMOS（Generalized Multi-Object Search）を発表する。GenMOSは、局所領域の点群観測結果、物体検出結果、ロボットの視点姿勢の定位を入力とし、オンライン計画により移動先の6次元視点を出力する。特に、GenMOSは点群観測を3つの方法で利用している。(1)オクルージョンのシミュレーション、(2)占有率の通知とオクトリー信念の初期化、(3)障害物を回避するビュー位置の信念依存グラフのサンプリングである。本システムをシミュレーションと2つの実際のロボットプラットフォームで評価した。本システムにより、例えばBoston Dynamics Spotロボットは、ソファの下に隠れた猫のおもちゃを1分以内に見つけることができるようになった。さらに、3Dローカルサーチと2Dグローバルサーチを統合することで、より広い領域を扱うことができ、25m$^2$のロビー領域でこのシステムのデモンストレーションを行いました。

要約(オリジナル)

Searching for objects is a fundamental skill for robots. As such, we expect object search to eventually become an off-the-shelf capability for robots, similar to e.g., object detection and SLAM. In contrast, however, no system for 3D object search exists that generalizes across real robots and environments. In this paper, building upon a recent theoretical framework that exploited the octree structure for representing belief in 3D, we present GenMOS (Generalized Multi-Object Search), the first general-purpose system for multi-object search (MOS) in a 3D region that is robot-independent and environment-agnostic. GenMOS takes as input point cloud observations of the local region, object detection results, and localization of the robot’s view pose, and outputs a 6D viewpoint to move to through online planning. In particular, GenMOS uses point cloud observations in three ways: (1) to simulate occlusion; (2) to inform occupancy and initialize octree belief; and (3) to sample a belief-dependent graph of view positions that avoid obstacles. We evaluate our system both in simulation and on two real robot platforms. Our system enables, for example, a Boston Dynamics Spot robot to find a toy cat hidden underneath a couch in under one minute. We further integrate 3D local search with 2D global search to handle larger areas, demonstrating the resulting system in a 25m$^2$ lobby area.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL