Articulated Objects in Free-form Hand Interaction

要約

私たちは手を使って物とやり取りしたり操作したりします。
多関節オブジェクトは、それらを操作するために人間の手の器用さを必要とすることが多いため、特に興味深いものです。
このような相互作用を理解し、モデル化し、合成するには、カラー画像から手と多関節オブジェクトを 3D で再構築する自動で堅牢な方法が必要です。
画像から 3D の手とオブジェクトの姿勢を推定する既存の方法は、剛体に焦点を当てています。
その理由の 1 つは、そのような方法がトレーニング データに依存しており、多関節オブジェクト操作のデータセットが存在しないためです。
その結果、手と多関節オブジェクトの自由形式の相互作用の最初のデータセットである ARCTIC を導入します。
ARCTIC には、正確な 3D メッシュとペアになった 120 万枚の画像があり、両手と、時間の経過とともに移動および変形するオブジェクトを対象としています。
このデータセットは、手のオブジェクトの接触情報も提供します。
データセットの価値を示すために、ARCTIC で 2 つの新しいタスクを実行します。
(2) 相互作用場の推定と呼ばれる、密集した手と物体の相対距離の推定。
最初のタスクでは、RGB 画像から 2 つの手と多関節オブジェクトを共同で再構築するタスクのベースライン メソッドである ArcticNet を提示します。
相互作用場の推定では、各手の頂点からオブジェクトの表面までの相対距離、およびその逆を予測します。
単一の RGB 画像からこのような距離を推定する最初の方法である InterField を紹介します。
両方のタスクに対して定性的および定量的な実験を提供し、データの詳細な分析を提供します。
コードとデータは https://arctic.is.tue.mpg.de で入手できます。

要約(オリジナル)

We use our hands to interact with and to manipulate objects. Articulated objects are especially interesting since they often require the full dexterity of human hands to manipulate them. To understand, model, and synthesize such interactions, automatic and robust methods that reconstruct hands and articulated objects in 3D from a color image are needed. Existing methods for estimating 3D hand and object pose from images focus on rigid objects. In part, because such methods rely on training data and no dataset of articulated object manipulation exists. Consequently, we introduce ARCTIC – the first dataset of free-form interactions of hands and articulated objects. ARCTIC has 1.2M images paired with accurate 3D meshes for both hands and for objects that move and deform over time. The dataset also provides hand-object contact information. To show the value of our dataset, we perform two novel tasks on ARCTIC: (1) 3D reconstruction of two hands and an articulated object in interaction; (2) an estimation of dense hand-object relative distances, which we call interaction field estimation. For the first task, we present ArcticNet, a baseline method for the task of jointly reconstructing two hands and an articulated object from an RGB image. For interaction field estimation, we predict the relative distances from each hand vertex to the object surface, and vice versa. We introduce InterField, the first method that estimates such distances from a single RGB image. We provide qualitative and quantitative experiments for both tasks, and provide detailed analysis on the data. Code and data will be available at https://arctic.is.tue.mpg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google