Towards Practical Capture of High-Fidelity Relightable Avatars

要約

この論文では、高忠実度の 3D アバターをキャプチャおよび再構築するための新しいフレームワークである Tracking-free Relightable Avatar (TRAvatar) を提案します。
以前の方法と比較して、TRAvatar はより実用的かつ効率的な設定で機能します。
具体的には、TRAvatar は、さまざまな照明条件下でライト ステージでキャプチャされた動的な画像シーケンスを使用してトレーニングされ、さまざまなシーンでのアバターのリアルな再照明とリアルタイム アニメーションを可能にします。
さらに、TRAvatar を使用すると、トラッキングフリーのアバター キャプチャが可能になり、さまざまな照明条件下での正確な表面トラッキングの必要性がなくなります。
私たちの貢献は 2 つあります。まず、照明の線形特性を明示的に構築し、それを確実に満たす新しいネットワーク アーキテクチャを提案します。
シンプルなグループ ライト キャプチャでトレーニングされた TRAvatar は、単一の前方パスでリアルタイムに外観を予測し、任意の環境マップの照明下で高品質の再照明効果を実現します。
次に、トラッキングが暗黙的に学習される画像シーケンスに基づいて、顔のジオメトリと再照明可能な外観を最初から共同で最適化します。
この追跡不要のアプローチは、異なる照明条件下でフレーム間の時間的対応を確立するための堅牢性をもたらします。
広範な定性的および定量的実験により、私たちのフレームワークがフォトリアリスティックなアバター アニメーションと再照明において優れたパフォーマンスを達成することが実証されました。

要約(オリジナル)

In this paper, we propose a novel framework, Tracking-free Relightable Avatar (TRAvatar), for capturing and reconstructing high-fidelity 3D avatars. Compared to previous methods, TRAvatar works in a more practical and efficient setting. Specifically, TRAvatar is trained with dynamic image sequences captured in a Light Stage under varying lighting conditions, enabling realistic relighting and real-time animation for avatars in diverse scenes. Additionally, TRAvatar allows for tracking-free avatar capture and obviates the need for accurate surface tracking under varying illumination conditions. Our contributions are two-fold: First, we propose a novel network architecture that explicitly builds on and ensures the satisfaction of the linear nature of lighting. Trained on simple group light captures, TRAvatar can predict the appearance in real-time with a single forward pass, achieving high-quality relighting effects under illuminations of arbitrary environment maps. Second, we jointly optimize the facial geometry and relightable appearance from scratch based on image sequences, where the tracking is implicitly learned. This tracking-free approach brings robustness for establishing temporal correspondences between frames under different lighting conditions. Extensive qualitative and quantitative experiments demonstrate that our framework achieves superior performance for photorealistic avatar animation and relighting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google