HMDO: Markerless Multi-view Hand Manipulation Capture with Deformable Objects

要約

HMDO (Hand Manipulation with Deformable Objects) と呼ばれる、手と変形可能なオブジェクトのインタラクティブな動きを記録する、最初のマーカーなしの変形可能な相互作用データセットを構築します。
構築されたマルチビュー キャプチャ システムにより、複数の視点、さまざまなオブジェクト形状、および多様なインタラクティブ フォームとの変形可能な相互作用をキャプチャします。
私たちの動機は、3D の手と変形可能なオブジェクトの再構築が困難であるため、手と変形可能なオブジェクトの相互作用データセットが現在不足していることです。
主に相互オクルージョンが原因で、インタラクション エリアの観察が困難になり、手とオブジェクトの間の視覚的特徴が絡み合い、インタラクション エリアの変形の再構築が困難になります。
この課題に取り組むために、キャプチャしたデータに注釈を付ける方法を提案します。
私たちの重要なアイデアは、推定された手の特徴と協力してオブジェクトのグローバルな姿勢推定を導き、手とオブジェクトの関係を分析することでオブジェクトの変形プロセスを最適化することです。
包括的な評価を通じて、提案された方法は、手と変形可能なオブジェクトのインタラクティブな動きを高品質で再構築できます。
HMDO は現在、12 シーケンスにわたる 21600 フレームで構成されています。
将来、このデータセットは、変形可能な相互作用シーンの学習ベースの再構成の研究を後押しする可能性があります。

要約(オリジナル)

We construct the first markerless deformable interaction dataset recording interactive motions of the hands and deformable objects, called HMDO (Hand Manipulation with Deformable Objects). With our built multi-view capture system, it captures the deformable interactions with multiple perspectives, various object shapes, and diverse interactive forms. Our motivation is the current lack of hand and deformable object interaction datasets, as 3D hand and deformable object reconstruction is challenging. Mainly due to mutual occlusion, the interaction area is difficult to observe, the visual features between the hand and the object are entangled, and the reconstruction of the interaction area deformation is difficult. To tackle this challenge, we propose a method to annotate our captured data. Our key idea is to collaborate with estimated hand features to guide the object global pose estimation, and then optimize the deformation process of the object by analyzing the relationship between the hand and the object. Through comprehensive evaluation, the proposed method can reconstruct interactive motions of hands and deformable objects with high quality. HMDO currently consists of 21600 frames over 12 sequences. In the future, this dataset could boost the research of learning-based reconstruction of deformable interaction scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google