On-Policy Pixel-Level Grasping Across the Gap Between Simulation and Reality

要約

雑然としたシーンでの把持検出は、ロボットにとって非常に困難なタスクです。
合成把持データの生成は、Dex-net や GraspNet と同様に、把持方法をトレーニングおよびテストするための一般的な方法です。
ただし、これらの方法は 3D 合成オブジェクト モデルでトレーニング グリップを生成しますが、異なる分布の画像または点群で評価します。これにより、まばらなグリップ ラベルと共変量シフトにより、実際のシーンでのパフォーマンスが低下します。
既存の問題を解決するために、RGB-D画像で生成された高密度のピクセルレベルの把握ラベルを使用して、同じ分布でトレーニングおよびテストできる、新しいポリシー把握検出方法を提案します。
平行深度把握生成(PDG-Generation)法を提案し,点を平行に投影する新しい画像モデルを介して平行深度画像を生成する。
次に、このメソッドは、各ピクセルに対して複数の候補把握を生成し、平坦度検出、強制閉鎖メトリック、および衝突検出を通じて堅牢な把握を取得します。
次に、大規模で包括的なピクセル レベルのつかみポーズ データセット (PLGP データセット) が構築され、リリースされます。
ポリシー外のデータとまばらな把握サンプルを含む以前のデータセットとは異なり、このデータセットは最初のピクセルレベルの把握データセットであり、深度画像に基づいて把握が生成されるポリシーに準拠した分布を持ちます。
最後に、一連のピクセル レベルの把握検出ネットワークを構築してテストします。このネットワークは、入力 RGB-D 画像に対して分離された方法で把握ポーズを学習する、不均衡トレーニング用のデータ拡張プロセスを備えています。
広範な実験により、私たちのポリシーに基づいた把握方法がシミュレーションと現実の間のギャップを大幅に克服し、最先端のパフォーマンスを達成できることが示されています。
コードとデータは https://github.com/liuhunsense/PLGP-Dataset で提供されています。

要約(オリジナル)

Grasp detection in cluttered scenes is a very challenging task for robots. Generating synthetic grasping data is a popular way to train and test grasp methods, as is Dex-net and GraspNet; yet, these methods generate training grasps on 3D synthetic object models, but evaluate at images or point clouds with different distributions, which reduces performance on real scenes due to sparse grasp labels and covariate shift. To solve existing problems, we propose a novel on-policy grasp detection method, which can train and test on the same distribution with dense pixel-level grasp labels generated on RGB-D images. A Parallel-Depth Grasp Generation (PDG-Generation) method is proposed to generate a parallel depth image through a new imaging model of projecting points in parallel; then this method generates multiple candidate grasps for each pixel and obtains robust grasps through flatness detection, force-closure metric and collision detection. Then, a large comprehensive Pixel-Level Grasp Pose Dataset (PLGP-Dataset) is constructed and released; distinguished with previous datasets with off-policy data and sparse grasp samples, this dataset is the first pixel-level grasp dataset, with the on-policy distribution where grasps are generated based on depth images. Lastly, we build and test a series of pixel-level grasp detection networks with a data augmentation process for imbalance training, which learn grasp poses in a decoupled manner on the input RGB-D images. Extensive experiments show that our on-policy grasp method can largely overcome the gap between simulation and reality, and achieves the state-of-the-art performance. Code and data are provided at https://github.com/liuchunsense/PLGP-Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google