Learning Hierarchical Interactive Multi-Object Search for Mobile Manipulation

要約

既存のオブジェクト検索アプローチでは、ロボットが自由な経路を介して検索することができますが、人間中心の非構造化環境で動作するロボットは、ニーズに合わせて環境を操作する必要があることもよくあります。
この研究では、ロボットがドアを開けて部屋を移動し、キャビネットや引き出しの中を探索して目的の物体を見つけるという、新しい対話型の複数物体検索タスクを導入します。
これらの新たな課題には、未踏の環境での操作スキルとナビゲーション スキルを組み合わせる必要があります。
探索、ナビゲーション、操作スキルを構成する方法を学習する階層型強化学習アプローチである HIMOS を紹介します。
これを達成するために、セマンティック マップ メモリの周囲に抽象的な高レベルのアクション スペースを設計し、探索された環境をインスタンス ナビゲーション ポイントとして利用します。
私たちは、シミュレーションと現実世界で広範な実験を行い、正確な認識により、HIMOS の意思決定がゼロショット方式で新しい環境に効果的に移行することを実証しています。
目に見えないサブポリシー、その実行の失敗、およびさまざまなロボットの運動学に対する堅牢性を示します。
これらの機能は、具体化された AI と現実世界のユースケースにわたる幅広い下流タスクへの扉を開きます。

要約(オリジナル)

Existing object-search approaches enable robots to search through free pathways, however, robots operating in unstructured human-centered environments frequently also have to manipulate the environment to their needs. In this work, we introduce a novel interactive multi-object search task in which a robot has to open doors to navigate rooms and search inside cabinets and drawers to find target objects. These new challenges require combining manipulation and navigation skills in unexplored environments. We present HIMOS, a hierarchical reinforcement learning approach that learns to compose exploration, navigation, and manipulation skills. To achieve this, we design an abstract high-level action space around a semantic map memory and leverage the explored environment as instance navigation points. We perform extensive experiments in simulation and the real world that demonstrate that, with accurate perception, the decision making of HIMOS effectively transfers to new environments in a zero-shot manner. It shows robustness to unseen subpolicies, failures in their execution, and different robot kinematics. These capabilities open the door to a wide range of downstream tasks across embodied AI and real-world use cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google