AGILE: Approach-based Grasp Inference Learned from Element Decomposition

要約

把持検出のエキスパートである人間は、手と物体の位置関係を考慮して物体を把持することができる。本研究では、ロボットマニピュレータが同じように学習し、グリッパーが物体にどのように接近したかに応じて最適な方法で物体を把持できるようにする手法を提案する。ディープラーニングに基づいて構築された提案手法は、主に2つの段階から構成される。未見の物体に対してネットワークを一般化するために、提案するアプローチに基づく把持推論では、物体を主要な部分に分割する要素分解段階を含み、各要素にはグリッパーの特定のアプローチに対する1つ以上の注釈付き把持が含まれる。その後、把持検出ネットワークは、Mask R-CNNによって分解された要素と、グリッパーのアプローチに関する情報を利用し、グリッパーがアプローチした要素と最適な把持を検出する。ネットワークを訓練するために、本研究ではCoppeliasimシミュレーション環境で収集したロボット把持データセットを導入している。このデータセットには、要素分解マスクと把持矩形が注釈された10種類のオブジェクトが含まれる。提案手法は、Coppeliasimシミュレーション環境において、既視物体で90%、未視物体で78%の把持成功率を獲得した。最後に、シミュレーションで収集した学習セットに変換を適用し、データセットを拡張することで、シミュレーションから現実への領域適応を行い、デルタパラレルロボットと2本指グリッパーを用いた物理的な把持成功率を70%とした。

要約(オリジナル)

Humans, this species expert in grasp detection, can grasp objects by taking into account hand-object positioning information. This work proposes a method to enable a robot manipulator to learn the same, grasping objects in the most optimal way according to how the gripper has approached the object. Built on deep learning, the proposed method consists of two main stages. In order to generalize the network on unseen objects, the proposed Approach-based Grasping Inference involves an element decomposition stage to split an object into its main parts, each with one or more annotated grasps for a particular approach of the gripper. Subsequently, a grasp detection network utilizes the decomposed elements by Mask R-CNN and the information on the approach of the gripper in order to detect the element the gripper has approached and the most optimal grasp. In order to train the networks, the study introduces a robotic grasping dataset collected in the Coppeliasim simulation environment. The dataset involves 10 different objects with annotated element decomposition masks and grasp rectangles. The proposed method acquires a 90% grasp success rate on seen objects and 78% on unseen objects in the Coppeliasim simulation environment. Lastly, simulation-to-reality domain adaptation is performed by applying transformations on the training set collected in simulation and augmenting the dataset, which results in a 70% physical grasp success performance using a Delta parallel robot and a 2 -fingered gripper.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL