PokeFlex: Towards a Real-World Dataset of Deformable Objects for Robotic Manipulation

要約

変形可能な物体のロボット操作の進歩により、食品加工から繊維、ヘルスケアに至るまで、複数の業界にわたって反復的なタスクの自動化が可能になります。
しかし、ロボットは、変形可能なオブジェクトの高次元性とその複雑なダイナミクスに苦戦しています。
データ駆動型の手法は操作タスクを解決する可能性を示していますが、変形可能なオブジェクトの領域での応用はデータ不足によって制限されてきました。
これに対処するために、私たちは、単純な突っつき戦略を使用して、ロボット アームによって適用される対応する力とトルクとともに、アクティブに変形するオブジェクトの実世界 3D メッシュ データを特徴とするパイロット データセットである PokeFlex を提案します。
変形は、完全な 360 度の再構成を可能にする専門的な体積キャプチャ システムでキャプチャされます。
PokeFlex データセットは、さまざまな剛性と形状を持つ 5 つの変形可能なオブジェクトで構成されています。
さらに、PokeFlex データセットを活用して、単一の画像とテンプレート メッシュからオンライン 3D メッシュ再構築用のビジョン モデルをトレーニングします。
データセットのデモと例については、補足資料と Web サイト ( https://pokeflex-dataset.github.io/ ) を読者に参照していただくようお勧めします。

要約(オリジナル)

Advancing robotic manipulation of deformable objects can enable automation of repetitive tasks across multiple industries, from food processing to textiles and healthcare. Yet robots struggle with the high dimensionality of deformable objects and their complex dynamics. While data-driven methods have shown potential for solving manipulation tasks, their application in the domain of deformable objects has been constrained by the lack of data. To address this, we propose PokeFlex, a pilot dataset featuring real-world 3D mesh data of actively deformed objects, together with the corresponding forces and torques applied by a robotic arm, using a simple poking strategy. Deformations are captured with a professional volumetric capture system that allows for complete 360-degree reconstruction. The PokeFlex dataset consists of five deformable objects with varying stiffness and shapes. Additionally, we leverage the PokeFlex dataset to train a vision model for online 3D mesh reconstruction from a single image and a template mesh. We refer readers to the supplementary material and to our website ( https://pokeflex-dataset.github.io/ ) for demos and examples of our dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google