Synthetic data enables faster annotation and robust segmentation for multi-object grasping in clutter

要約

ラベル付きデータセットの構築には、データ収集と注釈の点で時間がかかり、経済的にもコストがかかる可能性があるため、ロボットによる把握における物体認識と物体の姿勢推定は、引き続き大きな課題となっています。
この研究では、人間の介入を最小限に抑え、生成された合成データセットをより小さな実世界のデータセット (ハイブリッド データセット) と組み合わせることで、下流の画像セグメンテーション アルゴリズムをより堅牢にする合成データ生成方法を提案します。
アノテーション実験では、提案された合成シーン生成によりラベル付け時間を大幅に短縮できることが示されています。
RGB 画像セグメンテーションは、ハイブリッド データセットを使用してトレーニングされ、深度情報と組み合わせて、セグメント化された個々のオブジェクトのピクセルとポイントの対応を生成します。
把握するオブジェクトは、セグメンテーション アルゴリズムの信頼スコアによって決定されます。
ピック アンド プレイス実験では、ハイブリッド データセットでトレーニングされたセグメンテーション (98.9%、70%) が、ラベル付けの点で実際のデータセットおよび公開されているデータセットよりも (6.7%、18.8%) および (2.8%、10%) 優れていることを示しています。
と成功率の把握をそれぞれ行います。
補足資料は https://sites.google.com/view/synthetic-dataset-generation で入手できます。

要約(オリジナル)

Object recognition and object pose estimation in robotic grasping continue to be significant challenges, since building a labelled dataset can be time consuming and financially costly in terms of data collection and annotation. In this work, we propose a synthetic data generation method that minimizes human intervention and makes downstream image segmentation algorithms more robust by combining a generated synthetic dataset with a smaller real-world dataset (hybrid dataset). Annotation experiments show that the proposed synthetic scene generation can diminish labelling time dramatically. RGB image segmentation is trained with hybrid dataset and combined with depth information to produce pixel-to-point correspondence of individual segmented objects. The object to grasp is then determined by the confidence score of the segmentation algorithm. Pick-and-place experiments demonstrate that segmentation trained on our hybrid dataset (98.9%, 70%) outperforms the real dataset and a publicly available dataset by (6.7%, 18.8%) and (2.8%, 10%) in terms of labelling and grasping success rate, respectively. Supplementary material is available at https://sites.google.com/view/synthetic-dataset-generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google