Relightable Full-Body Gaussian Codec Avatars

要約

私たちは、顔や手を含むきめ細かいディテールを備えた再点灯可能な全身アバターをモデリングするための新しいアプローチである、再点灯可能な全身ガウス コーデック アバターを提案します。
全身アバターを再照明する際の特有の課題は、体の関節運動によって引き起こされる大きな変形と、光の輸送によって生じる外観への影響にあります。
身体のポーズが変化すると、ライトに対する身体表面の向きが劇的に変化する可能性があり、その結果、局所的な光輸送機能の変化による局所的な外観の変化と、身体部分間のオクルージョンによる非局所的な変化の両方が発生します。
これに対処するために、光輸送をローカル効果と非ローカル効果に分解します。
局所的な外観の変化は、拡散放射輝度伝達の学習可能なゾーン高調波を使用してモデル化されます。
球面調和関数とは異なり、帯状調和関数は関節運動下での回転効率が非常に高くなります。
これにより、ローカル座標フレームで拡散放射輝度伝達を学習できるようになり、身体の関節運動からローカル放射輝度伝達が解きほぐされます。
非局所的な外観の変化を考慮するために、ベース メッシュ上で事前に計算された入射放射照度を考慮して影を予測するシャドウ ネットワークを導入します。
これにより、身体部分間の非局所的なシャドウイングの学習が容易になります。
最後に、ディファード シェーディング アプローチを使用して鏡面放射輝度の転送をモデル化し、反射や目の輝きなどのハイライトをより適切にキャプチャします。
私たちのアプローチは、新しい照明条件や目に見えないポーズの下で優れた汎化能力を備え、再点灯可能な全身アバターに必要な局所的および非局所的な光輸送の両方をモデル化することに成功したことを実証します。

要約(オリジナル)

We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google