HOReeNet: 3D-aware Hand-Object Grasping Reenactment

要約

手、オブジェクト、およびそれらの相互作用を含む画像を操作するという新しいタスクに取り組む HOReeNet を紹介します。
特に、ソース画像のオブジェクトをターゲット画像に転送し、転送されたオブジェクトをしっかりとつかむために 3 次元の手の姿勢を操作することに関心があります。
さらに、操作は 2D 画像空間に反映される必要があります。
手と物体の相互作用を含む再現シナリオでは、しっかりと把握するために手と物体の間の 3D 接触推論が必要になるため、3D 再構築が不可欠になります。
同時に、3D 空間から高品質の 2D 画像を取得するには、適切に設計された 3D から 2D への投影と画像の改良が必要です。
私たちの HOReeNet は、このようなタスクのために提案された最初の完全に微分可能なフレームワークです。
手と物体のインタラクション データセットについて、HOReeNet を従来の画像変換アルゴリズムおよび再現アルゴリズムと比較しました。
私たちのアプローチが提案されたタスクで最先端を達成できることを実証しました。

要約(オリジナル)

We present HOReeNet, which tackles the novel task of manipulating images involving hands, objects, and their interactions. Especially, we are interested in transferring objects of source images to target images and manipulating 3D hand postures to tightly grasp the transferred objects. Furthermore, the manipulation needs to be reflected in the 2D image space. In our reenactment scenario involving hand-object interactions, 3D reconstruction becomes essential as 3D contact reasoning between hands and objects is required to achieve a tight grasp. At the same time, to obtain high-quality 2D images from 3D space, well-designed 3D-to-2D projection and image refinement are required. Our HOReeNet is the first fully differentiable framework proposed for such a task. On hand-object interaction datasets, we compared our HOReeNet to the conventional image translation algorithms and reenactment algorithm. We demonstrated that our approach could achieved the state-of-the-art on the proposed task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google