AGILE: Approach-based Grasp Inference Learned from Element Decomposition

要約

掴み検出の専門家である人間は、手の物体の位置情報を考慮して物体を掴むことができます。
この研究では、グリッパーが物体にどのように近づいたかに応じて、最適な方法で物体を掴むということをロボットマニピュレータが学習できるようにする方法を提案します。
提案された方法は深層学習に基づいて構築されており、2 つの主要な段階で構成されています。
目に見えないオブジェクトのネットワークを一般化するために、提案されているアプローチベースの把握推論には、オブジェクトを主要な部分に分割する要素分解段階が含まれており、各部分にはグリッパーの特定のアプローチに対する注釈付きの把握が 1 つ以上含まれています。
続いて、把持検出ネットワークは、Mask R-CNNによる分解された要素とグリッパーの接近情報を利用して、グリッパーが接近した要素と最適な把持を検出します。
ネットワークをトレーニングするために、この研究では、Coppeliasim シミュレーション環境で収集されたロボットによる把握データセットが導入されています。
このデータセットには、注釈付きの要素分解マスクと把握四角形を備えた 10 個の異なるオブジェクトが含まれています。
提案手法は、Coppeliasim シミュレーション環境において、見える物体では 90%、見えない物体では 78% の把握成功率を獲得しました。
最後に、シミュレーションで収集されたトレーニング セットに変換を適用し、データセットを拡張することによって、シミュレーションから現実への領域の適応が実行されます。その結果、デルタ パラレル ロボットと 2 本指グリッパーを使用した物理的な把握の成功率は 70% になります。

要約(オリジナル)

Humans, this species expert in grasp detection, can grasp objects by taking into account hand-object positioning information. This work proposes a method to enable a robot manipulator to learn the same, grasping objects in the most optimal way according to how the gripper has approached the object. Built on deep learning, the proposed method consists of two main stages. In order to generalize the network on unseen objects, the proposed Approach-based Grasping Inference involves an element decomposition stage to split an object into its main parts, each with one or more annotated grasps for a particular approach of the gripper. Subsequently, a grasp detection network utilizes the decomposed elements by Mask R-CNN and the information on the approach of the gripper in order to detect the element the gripper has approached and the most optimal grasp. In order to train the networks, the study introduces a robotic grasping dataset collected in the Coppeliasim simulation environment. The dataset involves 10 different objects with annotated element decomposition masks and grasp rectangles. The proposed method acquires a 90% grasp success rate on seen objects and 78% on unseen objects in the Coppeliasim simulation environment. Lastly, simulation-to-reality domain adaptation is performed by applying transformations on the training set collected in simulation and augmenting the dataset, which results in a 70% physical grasp success performance using a Delta parallel robot and a 2 -fingered gripper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google