PokeFlex: A Real-World Dataset of Volumetric Deformable Objects for Robotics

要約

データ駆動型の方法は、挑戦的な操作タスクを解決する上で大きな可能性を示しています。
ただし、変形可能なオブジェクトのドメインでのそれらのアプリケーションは、部分的にはデータの不足によって制約されています。
この欠如に対処するために、Pokeflexを提案します。Pokeflexは、ペアになって注釈が付けられた実際のマルチモーダルデータを備えたデータセットです。
モダリティには、3Dテクスチャーメッシュ、ポイントクラウド、RGB画像、深度マップが含まれます。
このようなデータは、オンライン3Dメッシュ再構成など、いくつかのダウンストリームタスクに活用でき、メッシュシミュレーションに基づいた従来の制御方法の実際の展開など、露出していないアプリケーションを可能にする可能性があります。
実際の3Dメッシュ再構成によってもたらされる課題に対処するために、完全な360 {\ deg}再構成を可能にする専門のボリュームキャプチャシステムを活用します。
ポケフレックスは、さまざまな剛性と形状の18の変形可能なオブジェクトで構成されています。
変形は、オブジェクトを平らな表面に落とすか、ロボットアームでオブジェクトを突くことによって生成されます。
相互作用レンチと連絡先の場所も、後者の場合に報告されています。
さまざまなデータモダリティを使用して、ポケフレックスのマルチモーダル性の斬新さを考えると、マルチモーダルデータからのマルチオブジェクトオンラインテンプレートベースのメッシュ再構成を構成することを構成するデータセットトレーニングモデルのユースケースを実証しました。
私たちの知る限り。
読者を、さらにデモと例については、ウェブサイト（https://pokeflex-dataset.github.io/）に紹介します。

要約(オリジナル)

Data-driven methods have shown great potential in solving challenging manipulation tasks; however, their application in the domain of deformable objects has been constrained, in part, by the lack of data. To address this lack, we propose PokeFlex, a dataset featuring real-world multimodal data that is paired and annotated. The modalities include 3D textured meshes, point clouds, RGB images, and depth maps. Such data can be leveraged for several downstream tasks, such as online 3D mesh reconstruction, and it can potentially enable underexplored applications such as the real-world deployment of traditional control methods based on mesh simulations. To deal with the challenges posed by real-world 3D mesh reconstruction, we leverage a professional volumetric capture system that allows complete 360{\deg} reconstruction. PokeFlex consists of 18 deformable objects with varying stiffness and shapes. Deformations are generated by dropping objects onto a flat surface or by poking the objects with a robot arm. Interaction wrenches and contact locations are also reported for the latter case. Using different data modalities, we demonstrated a use case for our dataset training models that, given the novelty of the multimodal nature of Pokeflex, constitute the state-of-the-art in multi-object online template-based mesh reconstruction from multimodal data, to the best of our knowledge. We refer the reader to our website ( https://pokeflex-dataset.github.io/ ) for further demos and examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google