AniPixel: Towards Animatable Pixel-Aligned Human Avatar

要約

画素に沿った特徴量を用いたニューラルラジアンスフィールドは、フォトリアリスティックな新規ビューをレンダリングすることができる。しかし，画素に沿った特徴量を直接人間アバターの再構成に導入した場合，アニメーション可能なアバターではなく，静止した人間に対してのみレンダリングが可能である．本論文では、体形予測やRGBカラーブレンドにピクセルアラインメントを利用した、アニメーション可能で汎用性のある新しい人物アバター再構成手法AniPixelを提案する。技術的には、正準空間をターゲット空間と観察空間に整合させるため、スケルトン駆動の変形に基づく双方向神経スキニング場を提案し、ターゲットから正準、正準から観察への対応を確立する。次に、より一般化するために、正規化されたニュートラルサイズの身体と被験者固有の残差に分離する。体形と外観は密接に関連しているため、体形予測を容易にするために画素に沿った特徴量を導入し、RGBカラーブレンドを強化するために詳細な表面法線を導入する。さらに、局所的な照明のばらつきを表現するために、姿勢依存かつ視点方向に関連したシェーディングモジュールを考案する。実験によると、我々のAniPixelは、最新の手法よりも優れた新規ポーズアニメーションの結果を提供しながら、同等の新規ビューをレンダリングすることができました。コードは公開される予定です。

要約(オリジナル)

Neural radiance field using pixel-aligned features can render photo-realistic novel views. However, when pixel-aligned features are directly introduced to human avatar reconstruction, the rendering can only be conducted for still humans, rather than animatable avatars. In this paper, we propose AniPixel, a novel animatable and generalizable human avatar reconstruction method that leverages pixel-aligned features for body geometry prediction and RGB color blending. Technically, to align the canonical space with the target space and the observation space, we propose a bidirectional neural skinning field based on skeleton-driven deformation to establish the target-to-canonical and canonical-to-observation correspondences. Then, we disentangle the canonical body geometry into a normalized neutral-sized body and a subject-specific residual for better generalizability. As the geometry and appearance are closely related, we introduce pixel-aligned features to facilitate the body geometry prediction and detailed surface normals to reinforce the RGB color blending. Moreover, we devise a pose-dependent and view direction-related shading module to represent the local illumination variance. Experiments show that our AniPixel renders comparable novel views while delivering better novel pose animation results than state-of-the-art methods. The code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL