FLNeRF: 3D Facial Landmarks Estimation in Neural Radiance Fields

要約

この論文は、神経放射フィールド (NeRF) 上の 3D 顔ランドマークを直接予測する最初の重要な研究を紹介します。
当社の 3D 粗いから細かい顔ランドマーク NeRF (FLNeRF) モデルは、正確なランドマークを検出するために、個々の顔の特徴を持つ特定の顔 NeRF から効率的にサンプリングします。
表情拡張は、FLNeRF をトレーニングするために、誇張した表情 (例: 頬をふくらませる、口を大きく開ける、まばたきする) を含む広範囲の感情をシミュレートするために、細かいスケールで顔の特徴に適用されます。
関連する最先端の 3D 顔ランドマーク推定手法との定性的および定量的な比較により、FLNeRF の有効性が実証され、NeRF ランドマークを使用した直接制御による高品質の顔編集や交換などの下流タスクに貢献します。
コードとデータが利用可能になります。
Github リンク: https://github.com/ZHANG1023/FLNeRF。

要約(オリジナル)

This paper presents the first significant work on directly predicting 3D face landmarks on neural radiance fields (NeRFs). Our 3D coarse-to-fine Face Landmarks NeRF (FLNeRF) model efficiently samples from a given face NeRF with individual facial features for accurate landmarks detection. Expression augmentation is applied to facial features in a fine scale to simulate large emotions range including exaggerated facial expressions (e.g., cheek blowing, wide opening mouth, eye blinking) for training FLNeRF. Qualitative and quantitative comparison with related state-of-the-art 3D facial landmark estimation methods demonstrate the efficacy of FLNeRF, which contributes to downstream tasks such as high-quality face editing and swapping with direct control using our NeRF landmarks. Code and data will be available. Github link: https://github.com/ZHANG1023/FLNeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google