BiTT: Bi-directional Texture Reconstruction of Interacting Two Hands from a Single Image

要約

AR / VR プラットフォームでユーザーにリアルな体験を提供するには、パーソナライズされたハンド アバターを作成することが重要です。
これまでの研究のほとんどは 3D の手の形状の再構成に焦点を当てていましたが、最近の研究では、形状の上に手のテクスチャを再構成することに取り組んでいます。
ただし、これらの方法は多くの場合、手の見える側のピクセルのキャプチャに限定されており、入力としてビデオまたは複数の画像内の手の多様なビューが必要です。
この論文では、新しい方法である BiTT(Bi-direction Texture Reconstruction of Two Hands) を提案します。これは、単一の RGB のみを使用して、相互作用する 2 つの手の再照明可能でポーズフリーのテクスチャ再構築のための最初のエンドツーエンドのトレーニング可能な方法です。
3 つの新しいコンポーネントによる画像。1) 左手/右手のテクスチャ対称性を使用した双方向 (左 $\leftrightarrow$ 右) テクスチャ再構築、2) 手のテクスチャ回復にテクスチャ パラメトリック モデルを利用、3) 全体の粗い
相互作用する 2 つの手のパーソナライズされたテクスチャを再構築するための -to-fine ステージ パイプライン。
BiTT は、まず入力画像からシーンの光の状態とアルベド画像を推定し、次にテクスチャ パラメトリック モデルと双方向テクスチャ再構成器を通じて両手のテクスチャを再構成します。
InterHand2.6M および RGB2Hands データセットを使用した実験では、私たちの方法は量的および質的に最先端の手テクスチャ再構成方法を大幅に上回りました。
コードは https://github.com/yunminjin2/BiTT で入手できます。

要約(オリジナル)

Creating personalized hand avatars is important to offer a realistic experience to users on AR / VR platforms. While most prior studies focused on reconstructing 3D hand shapes, some recent work has tackled the reconstruction of hand textures on top of shapes. However, these methods are often limited to capturing pixels on the visible side of a hand, requiring diverse views of the hand in a video or multiple images as input. In this paper, we propose a novel method, BiTT(Bi-directional Texture reconstruction of Two hands), which is the first end-to-end trainable method for relightable, pose-free texture reconstruction of two interacting hands taking only a single RGB image, by three novel components: 1) bi-directional (left $\leftrightarrow$ right) texture reconstruction using the texture symmetry of left / right hands, 2) utilizing a texture parametric model for hand texture recovery, and 3) the overall coarse-to-fine stage pipeline for reconstructing personalized texture of two interacting hands. BiTT first estimates the scene light condition and albedo image from an input image, then reconstructs the texture of both hands through the texture parametric model and bi-directional texture reconstructor. In experiments using InterHand2.6M and RGB2Hands datasets, our method significantly outperforms state-of-the-art hand texture reconstruction methods quantitatively and qualitatively. The code is available at https://github.com/yunminjin2/BiTT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google