Generalized Object Search

要約

タイトル：汎用的オブジェクト検索
要約：
– 未来の協働ロボットはオブジェクトを見つける能力を持たなければならない。
– 現在のアプローチでは、実現不可能な妥協（例えば2Dに問題を簡略化する）をしたり、アドホックな貪欲探索戦略を使ったり、シミュレーションでエンドツーエンドの方針を学習しようとしたりするが、まだ現実のロボットや環境で汎用化できていないものがある。
– POMDPを使用してオブジェクト検索をモデル化し、人間の世界（例えば、オクトリーや相関）と人間ロボットの相互作用（例えば、空間言語）の構造を利用することで、汎用的なオブジェクト検索システムが実現できると主張する。
– 複数のオブジェクトの検索、視野角の制限、隠れたオブジェクト、ノイズ、不安定な検出器、オブジェクト間の空間相関、曖昧な空間言語などの不確実性がある3D環境での（多様な）オブジェクト検索のための方法やシステムを開発し、PyGame、AirSim、AI2-THORなどのシミュレータでの評価だけでなく、ロボット独立の環境に関わらず3Dの汎用的なオブジェクト検索システムを設計・実装し、ボストンダイナミクスのSpotロボット、Kinova MOVOロボット、Universal Robots UR5e ロボットアーム上で異なる環境でのオブジェクト検索を行えるようにする。
– このシステムにより、例えばSpotロボットは、キッチンエリアのソファの下に隠れたおもちゃの猫を1分以内に見つけることができる。
– この論文は、オブジェクト検索文献を広く調査し、オブジェクト検索問題設定、方法、システムに関する分類を提案している。

要約(オリジナル)

Future collaborative robots must be capable of finding objects. As such a fundamental skill, we expect object search to eventually become an off-the-shelf capability for any robot, similar to e.g., object detection, SLAM, and motion planning. However, existing approaches either make unrealistic compromises (e.g., reduce the problem from 3D to 2D), resort to ad-hoc, greedy search strategies, or attempt to learn end-to-end policies in simulation that are yet to generalize across real robots and environments. This thesis argues that through using Partially Observable Markov Decision Processes (POMDPs) to model object search while exploiting structures in the human world (e.g., octrees, correlations) and in human-robot interaction (e.g., spatial language), a practical and effective system for generalized object search can be achieved. In support of this argument, I develop methods and systems for (multi-)object search in 3D environments under uncertainty due to limited field of view, occlusion, noisy, unreliable detectors, spatial correlations between objects, and possibly ambiguous spatial language (e.g., ‘The red car is behind Chase Bank’). Besides evaluation in simulators such as PyGame, AirSim, and AI2-THOR, I design and implement a robot-independent, environment-agnostic system for generalized object search in 3D and deploy it on the Boston Dynamics Spot robot, the Kinova MOVO robot, and the Universal Robots UR5e robotic arm, to perform object search in different environments. The system enables, for example, a Spot robot to find a toy cat hidden underneath a couch in a kitchen area in under one minute. This thesis also broadly surveys the object search literature, proposing taxonomies in object search problem settings, methods and systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI