MetaGraspNet_v0: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis

要約

反復的で骨の折れる作業に取り組むために、ロボティクス システムを搭載したスマート ファクトリーへの関心が高まっています。
ロボット工学を活用したスマート ファクトリ アプリケーションで影響力がありながらも困難なタスクの 1 つは、ロボットによる把持です。ロボット アームを使用して、さまざまな設定で自律的に物体を把持します。
ロボットによる把持には、物体の検出、セグメンテーション、把持の予測、ピッキングの計画など、さまざまなコンピューター ビジョン タスクが必要です。特にディープ ラーニングを使用して、ロボットによる把持のための機械学習の活用が大幅に進歩しましたが、大きな課題が残っています。
さまざまなシナリオと順列をカバーする大規模で高品質の RGBD データセットが必要です。
この大きくて多様なデータの問題に取り組むために、仮想世界と物理世界の間のギャップを大幅に埋めた最近のメタバースの概念に触発されています。
メタバースを使用すると、現実世界の製造シナリオのデジタル ツインを作成したり、モデルのトレーニング用に大量のデータを生成できるさまざまなシナリオを仮想的に作成したりできます。
このホワイト ペーパーでは、MetaGraspNet を紹介します。これは、物理ベースのメタバース合成によるビジョン主導のロボット把持のための大規模なベンチマーク データセットです。
提案されたデータセットには、100,000 枚の画像と 25 の異なるオブジェクト タイプが含まれており、さまざまな把握シナリオでのオブジェクト検出とセグメンテーション モデルのパフォーマンスを評価するために 5 つの困難に分割されています。
また、既存の汎用パフォーマンス メトリックと比較して、ロボットによる把持アプリケーションにより適した方法で、オブジェクトの検出とセグメンテーションのパフォーマンスを評価するために、データセットと共に新しいレイアウト加重パフォーマンス メトリックを提案します。
当社のベンチマーク データセットは、Kaggle でオープンソースで利用できます。最初のフェーズは、詳細なオブジェクト検出、セグメンテーション、レイアウト アノテーション、およびレイアウトに重み付けされたパフォーマンス メトリック スクリプトで構成されます。

要約(オリジナル)

There has been increasing interest in smart factories powered by robotics systems to tackle repetitive, laborious tasks. One impactful yet challenging task in robotics-powered smart factory applications is robotic grasping: using robotic arms to grasp objects autonomously in different settings. Robotic grasping requires a variety of computer vision tasks such as object detection, segmentation, grasp prediction, pick planning, etc. While significant progress has been made in leveraging of machine learning for robotic grasping, particularly with deep learning, a big challenge remains in the need for large-scale, high-quality RGBD datasets that cover a wide diversity of scenarios and permutations. To tackle this big, diverse data problem, we are inspired by the recent rise in the concept of metaverse, which has greatly closed the gap between virtual worlds and the physical world. Metaverses allow us to create digital twins of real-world manufacturing scenarios and to virtually create different scenarios from which large volumes of data can be generated for training models. In this paper, we present MetaGraspNet: a large-scale benchmark dataset for vision-driven robotic grasping via physics-based metaverse synthesis. The proposed dataset contains 100,000 images and 25 different object types and is split into 5 difficulties to evaluate object detection and segmentation model performance in different grasping scenarios. We also propose a new layout-weighted performance metric alongside the dataset for evaluating object detection and segmentation performance in a manner that is more appropriate for robotic grasp applications compared to existing general-purpose performance metrics. Our benchmark dataset is available open-source on Kaggle, with the first phase consisting of detailed object detection, segmentation, layout annotations, and a layout-weighted performance metric script.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google