Center Direction Network for Grasping Point Localization on Cloths

要約

物体の把握はロボット工学とコンピュータビジョンにおける基本的な課題であり、ロボットの操作能力を進化させるために重要です。
布地や布などの変形可能な物体は、その非剛体性によりさらなる課題を引き起こします。
この研究では、特に布オブジェクトに焦点を当てた把握点検出のための深層学習モデルである CeDiRNet-3DoF を紹介します。
CeDiRNet-3DoF は、位置特定ネットワークとともに中心方向回帰を採用し、ICRA 2023 の布操作チャレンジの知覚タスクで 1 位を獲得しました。
効果的な方法の比較を妨げる標準化されたベンチマークが文献にないことを認識し、ViCoS タオル データセットを紹介します。
この広範なベンチマーク データセットは、8,000 枚の実画像と 12,000 枚の合成画像で構成されており、現代のデータ駆動型ディープラーニング アプローチのトレーニングと評価のための堅牢なリソースとして機能します。
広範な評価により、CeDiRNet-3DoF は現実世界のパフォーマンスにおいて堅牢であり、最新の変圧器ベースのモデルを含む最先端の手法を上回っていることが明らかになりました。
私たちの取り組みは重大なギャップを埋め、コンピューター ビジョンとロボット工学における布把握のための堅牢なソリューションとベンチマークを提供します。
コードとデータセットは、https://github.com/vicoslab/CeDiRNet-3DoF から入手できます。

要約(オリジナル)

Object grasping is a fundamental challenge in robotics and computer vision, critical for advancing robotic manipulation capabilities. Deformable objects, like fabrics and cloths, pose additional challenges due to their non-rigid nature. In this work, we introduce CeDiRNet-3DoF, a deep-learning model for grasp point detection, with a particular focus on cloth objects. CeDiRNet-3DoF employs center direction regression alongside a localization network, attaining first place in the perception task of ICRA 2023’s Cloth Manipulation Challenge. Recognizing the lack of standardized benchmarks in the literature that hinder effective method comparison, we present the ViCoS Towel Dataset. This extensive benchmark dataset comprises 8,000 real and 12,000 synthetic images, serving as a robust resource for training and evaluating contemporary data-driven deep-learning approaches. Extensive evaluation revealed CeDiRNet-3DoF’s robustness in real-world performance, outperforming state-of-the-art methods, including the latest transformer-based models. Our work bridges a crucial gap, offering a robust solution and benchmark for cloth grasping in computer vision and robotics. Code and dataset are available at: https://github.com/vicoslab/CeDiRNet-3DoF

arxiv情報

提供元, 利用サービス

arxiv.jp, Google