SIRA: Relightable Avatars from a Single Image

要約

1枚の画像から人間の頭部の形状を復元し、材料と照明を因数分解しながら解くことは、事前情報を必要とする深刻な非投合問題である。3次元モーファブルモデル（3DMM）に基づく手法や、微分可能なレンダラーとの組み合わせにより、有望な結果が得られている。しかし、3DMMの表現力には限界があり、一般に顔領域に限定された過度な平滑化と同一性のない3次元形状を得ることができます。近年、多層パーセプトロンを用いて形状をパラメータ化したニューラルフィールドにより、高精度な全頭再生が可能となりました。また、これらの表現は汎用性が高いため、形状、素材、照明の切り分けにも有効であることが証明されています。しかし、これらの手法では数十枚の入力画像を必要とする。本論文では、1枚の画像から人間の頭部アバターを忠実な形状で再構成し、照明や表面材を因数分解する手法であるSIRAを紹介します。SIRAの主要な構成要素は、単一視点3D表面再構成と外観因子分解の曖昧さを解決する、ニューラルフィールドに基づく2つのデータ駆動型統計モデルである。実験によると、SIRAは3D頭部再構成において最先端の結果を得ると同時に、グローバルイルミネーション、拡散アルベド、鏡面アルベドの分離に成功しました。さらに、SIRAの再構成は、物理ベースの外観編集と頭部モデルの再照明が可能であることが示された。

要約(オリジナル)

Recovering the geometry of a human head from a single image, while factorizing the materials and illumination is a severely ill-posed problem that requires prior information to be solved. Methods based on 3D Morphable Models (3DMM), and their combination with differentiable renderers, have shown promising results. However, the expressiveness of 3DMMs is limited, and they typically yield over-smoothed and identity-agnostic 3D shapes limited to the face region. Highly accurate full head reconstructions have recently been obtained with neural fields that parameterize the geometry using multilayer perceptrons. The versatility of these representations has also proved effective for disentangling geometry, materials and lighting. However, these methods require several tens of input images. In this paper, we introduce SIRA, a method which, from a single image, reconstructs human head avatars with high fidelity geometry and factorized lights and surface materials. Our key ingredients are two data-driven statistical models based on neural fields that resolve the ambiguities of single-view 3D surface reconstruction and appearance factorization. Experiments show that SIRA obtains state of the art results in 3D head reconstruction while at the same time it successfully disentangles the global illumination, and the diffuse and specular albedos. Furthermore, our reconstructions are amenable to physically-based appearance editing and head model relighting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL