AniPixel: Towards Animatable Pixel-Aligned Human Avatar

要約

人間の再構成では通常、人間特有のアバターが生成されますが、ピクセル位置合わせされた特徴を利用した最近の 3D シーン再構成技術は、新しいシーンへの一般化が期待できます。
これらの技術を人間のアバターの再構成に適用すると、一般化可能であるが、レンダリングが静的表現でのみ可能であるため、アニメーション化の可能性が制限された体積アバターが得られます。
この論文では、ボディ ジオメトリ予測と RGB カラー ブレンディングにピクセル位置合わせされた特徴を活用する、アニメーション化可能かつ一般化可能な新しい人間アバター再構成手法である AniPixel を提案します。
技術的には、正準空間をターゲット空間および観測空間と位置合わせするために、スケルトン駆動の変形に基づく双方向ニューラル スキニング フィールドを提案し、ターゲットと正準、および正準と観測の対応関係を確立します。
次に、正規化された物体ジオメトリを正規化された中立サイズの物体と被験者固有の残差に分解して、一般化可能性を高めます。
ジオメトリと外観は密接に関連しているため、ボディ ジオメトリの予測を容易にするピクセル位置合わせ機能と、RGB カラー ブレンディングを強化する詳細な表面法線を導入します。
また、局所的な照明の変化を表現するために、姿勢依存および視線方向関連のシェーディング モジュールを考案しました。
実験では、AniPixel が同等の斬新なビューをレンダリングしながら、最先端の方法よりも優れた斬新なポーズ アニメーション結果を提供できることが示されています。

要約(オリジナル)

Although human reconstruction typically results in human-specific avatars, recent 3D scene reconstruction techniques utilizing pixel-aligned features show promise in generalizing to new scenes. Applying these techniques to human avatar reconstruction can result in a volumetric avatar with generalizability but limited animatability due to rendering only being possible for static representations. In this paper, we propose AniPixel, a novel animatable and generalizable human avatar reconstruction method that leverages pixel-aligned features for body geometry prediction and RGB color blending. Technically, to align the canonical space with the target space and the observation space, we propose a bidirectional neural skinning field based on skeleton-driven deformation to establish the target-to-canonical and canonical-to-observation correspondences. Then, we disentangle the canonical body geometry into a normalized neutral-sized body and a subject-specific residual for better generalizability. As the geometry and appearance are closely related, we introduce pixel-aligned features to facilitate the body geometry prediction and detailed surface normals to reinforce the RGB color blending. We also devise a pose-dependent and view direction-related shading module to represent the local illumination variance. Experiments show that AniPixel renders comparable novel views while delivering better novel pose animation results than state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google