IOSG: Image-driven Object Searching and Grasping

要約

ロボットが家庭や倉庫環境などの雑然としたシーンから特定のオブジェクトを取得する場合、ターゲットのオブジェクトは部分的に遮られたり、完全に隠れたりすることがよくあります。
したがって、ロボットには、対象物体を探索して特定し、それをうまく掴むことが求められます。
これまでの研究では、ターゲット オブジェクトを見つけるために、事前にトレーニングされたオブジェクト認識またはセグメンテーション モデルに依存していました。
ただし、このような方法では、モデルをトレーニングするために手間のかかる手動のアノテーションが必要であり、新しいターゲット オブジェクトを見つけることさえできません。
この論文では、ロボットに新しいターゲットオブジェクトの参照画像が提供され、それを見つけて取得するタスクを課す、画像駆動型オブジェクト検索および把握 (IOSG) アプローチを提案します。
新しいターゲットの位置を推測するための確率マップを生成するターゲット類似性ネットワークを設計します。
IOSG は階層型ポリシーを学習します。
高レベルのポリシーはサブタスクのタイプを予測しますが、低レベルのポリシーであるエクスプローラーとコーディネーターは、効果的なプッシュおよび把握アクションを生成します。
エクスプローラーは、ターゲット オブジェクトが他のオブジェクトによって隠されたり遮られたりする場合に、ターゲット オブジェクトを検索する責任があります。
ターゲットオブジェクトが見つかると、コーディネーターはターゲット指向の押しと掴みを実行して、クラッターからターゲットを回収します。
提案されたパイプラインは、シミュレーションで完全な自己監視を使用してトレーニングされ、実際の環境に適用されます。
私たちのモデルは、シミュレーションでの調整タスクと探索タスクでそれぞれ 96.0% と 94.5% のタスク成功率を達成し、実際のロボットでは探索と把握タスクの成功率 85.0% を達成しました。

要約(オリジナル)

When robots retrieve specific objects from cluttered scenes, such as home and warehouse environments, the target objects are often partially occluded or completely hidden. Robots are thus required to search, identify a target object, and successfully grasp it. Preceding works have relied on pre-trained object recognition or segmentation models to find the target object. However, such methods require laborious manual annotations to train the models and even fail to find novel target objects. In this paper, we propose an Image-driven Object Searching and Grasping (IOSG) approach where a robot is provided with the reference image of a novel target object and tasked to find and retrieve it. We design a Target Similarity Network that generates a probability map to infer the location of the novel target. IOSG learns a hierarchical policy; the high-level policy predicts the subtask type, whereas the low-level policies, explorer and coordinator, generate effective push and grasp actions. The explorer is responsible for searching the target object when it is hidden or occluded by other objects. Once the target object is found, the coordinator conducts target-oriented pushing and grasping to retrieve the target from the clutter. The proposed pipeline is trained with full self-supervision in simulation and applied to a real environment. Our model achieves a 96.0% and 94.5% task success rate on coordination and exploration tasks in simulation respectively, and 85.0% success rate on a real robot for the search-and-grasp task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google