PokeFlex: A Real-World Dataset of Deformable Objects for Robotics

要約

データ駆動型の手法は、困難な操作タスクを解決する上で大きな可能性を示していますが、変形可能なオブジェクトの領域での応用は、データ不足によって部分的に制限されてきました。
これに対処するために、私たちは PokeFlex を提案します。これは、3D テクスチャ メッシュ、点群、RGB 画像、深度マップを含む、現実世界のペアと注釈付きのマルチモーダル データを特徴とするデータセットです。
このようなデータは、オンライン 3D メッシュ再構成などのいくつかの下流タスクに活用でき、メッシュ シミュレーションに基づく従来の制御手法の実世界への展開など、未開発のアプリケーションを可能にする可能性があります。
現実世界の 3D メッシュ再構成によってもたらされる課題に対処するために、完全な 360{\deg} 再構成を可能にする専門的なボリューム キャプチャ システムを活用しています。
PokeFlex は、さまざまな硬さと形状を持つ 18 個の変形可能なオブジェクトで構成されています。
変形は、物体を平らな面に落としたり、ロボットアームで物体を突いたりすることによって生成されます。
後者の場合の相互作用力とトルクも報告されます。
さまざまなデータ モダリティを使用して、オンライン 3D メッシュ再構築における PokeFlex データセットの使用例を実証しました。
データセットのデモと例については、当社の Web サイト ( https://pokeflex-dataset.github.io/ ) を参照してください。

要約(オリジナル)

Data-driven methods have shown great potential in solving challenging manipulation tasks, however, their application in the domain of deformable objects has been constrained, in part, by the lack of data. To address this, we propose PokeFlex, a dataset featuring real-world paired and annotated multimodal data that includes 3D textured meshes, point clouds, RGB images, and depth maps. Such data can be leveraged for several downstream tasks such as online 3D mesh reconstruction, and it can potentially enable underexplored applications such as the real-world deployment of traditional control methods based on mesh simulations. To deal with the challenges posed by real-world 3D mesh reconstruction, we leverage a professional volumetric capture system that allows complete 360{\deg} reconstruction. PokeFlex consists of 18 deformable objects with varying stiffness and shapes. Deformations are generated by dropping objects onto a flat surface or by poking the objects with a robot arm. Interaction forces and torques are also reported for the latter case. Using different data modalities, we demonstrated a use case for the PokeFlex dataset in online 3D mesh reconstruction. We refer the reader to our website ( https://pokeflex-dataset.github.io/ ) for demos and examples of our dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google