HDHumans: A Hybrid Approach for High-fidelity Digital Humans

要約

写真のようにリアルなデジタル ヒューマン アバターは、世界中で没入型のコミュニケーションを可能にし、ゲームやエンターテイメントの体験を向上させ、AR や VR の設定に特に役立つ可能性があるため、グラフィックスにおいて非常に重要です。
ただし、現在のアバター生成アプローチは、忠実度の高い斬新なビューの合成、斬新な動きへの一般化、ゆるい服の再現に不十分であるか、最新のディスプレイが提供する高解像度でキャラクターをレンダリングできません。
この目的のために、HDHumans を提案します。HDHumans は、正確で時間的にコヒーレントな 3D 変形サーフェスと、任意の新しいビューおよびトレーニング時に見られなかった動きの非常にフォトリアリスティックな画像を共同で生成する HD 人間キャラクター合成の最初の方法です。
技術的なコアでは、私たちの方法は、古典的な変形文字テンプレートをニューラル ラディアンス フィールド (NeRF) と緊密に統合します。
私たちの方法は、古典的な表面変形と NeRF の間の相乗効果を達成するように慎重に設計されています。
まず、テンプレートは NeRF をガイドします。これにより、非常にダイナミックで関節のあるキャラクターの斬新なビューを合成し、斬新なモーションの合成さえも可能にします。
2 つ目は、NeRF から得られる高密度の点群を活用して、3D から 3D への監視によって変形するサーフェスをさらに改善することです。
合成の品質と解像度、および 3D サーフェス再構成の品質の点で、定量的および定性的に最新技術を上回っています。

要約(オリジナル)

Photo-real digital human avatars are of enormous importance in graphics, as they enable immersive communication over the globe, improve gaming and entertainment experiences, and can be particularly beneficial for AR and VR settings. However, current avatar generation approaches either fall short in high-fidelity novel view synthesis, generalization to novel motions, reproduction of loose clothing, or they cannot render characters at the high resolution offered by modern displays. To this end, we propose HDHumans, which is the first method for HD human character synthesis that jointly produces an accurate and temporally coherent 3D deforming surface and highly photo-realistic images of arbitrary novel views and of motions not seen at training time. At the technical core, our method tightly integrates a classical deforming character template with neural radiance fields (NeRF). Our method is carefully designed to achieve a synergy between classical surface deformation and NeRF. First, the template guides the NeRF, which allows synthesizing novel views of a highly dynamic and articulated character and even enables the synthesis of novel motions. Second, we also leverage the dense pointclouds resulting from NeRF to further improve the deforming surface via 3D-to-3D supervision. We outperform the state of the art quantitatively and qualitatively in terms of synthesis quality and resolution, as well as the quality of 3D surface reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google