DiffAge3D: Diffusion-based 3D-aware Face Aging

要約

顔の老化は、個人の外観が自分自身のより若い、またはより古いバージョンに変化するプロセスです。
既存の顔のエイジング技術は 2D 設定に限定されており、3D 顔モデリングの需要が高まるにつれて応用力が弱くなることがよくあります。
さらに、既存のエージング方法は、忠実なエージングを実行し、同一性を維持し、入力画像の細部を保持するのに苦労しています。
これらの制限と 3D 対応のエージング手法の必要性を考慮して、私たちは、忠実なエージングとアイデンティティの保存を実行するだけでなく、3D 設定でも動作する初の 3D 対応のエージング フレームワークである DiffAge3D を提案します。
当社の老化フレームワークを使用すると、対象年齢を指定して 1 枚の画像を撮影するだけで、老化とカメラのポーズを個別にモデル化できます。
私たちのフレームワークには、事前トレーニングされた 3D GAN と CLIP モデル内のリッチ テキスト埋め込み機能を利用した、堅牢な 3D 対応の経年変化データセット生成パイプラインが含まれています。
特に、データセット生成において反転ボトルネックを採用していません。
代わりに、3D GAN の潜在空間からトレーニング サンプルをランダムに生成し、GAN の豊富な潜在空間を操作して、ギャップが大きい場合でも年齢を生成できるようにします。
生成されたデータセットを使用して、視点を認識した拡散ベースの老化モデルをトレーニングして、カメラのポーズと顔の年齢を制御します。
定量的および定性的評価を通じて、DiffAge3D が既存の方法よりも優れていること、特にマルチビューの一貫したエージングと細部の保存において優れていることを実証します。

要約(オリジナル)

Face aging is the process of converting an individual’s appearance to a younger or older version of themselves. Existing face aging techniques have been limited to 2D settings, which often weaken their applications as there is a growing demand for 3D face modeling. Moreover, existing aging methods struggle to perform faithful aging, maintain identity, and retain the fine details of the input images. Given these limitations and the need for a 3D-aware aging method, we propose DiffAge3D, the first 3D-aware aging framework that not only performs faithful aging and identity preservation but also operates in a 3D setting. Our aging framework allows to model the aging and camera pose separately by only taking a single image with a target age. Our framework includes a robust 3D-aware aging dataset generation pipeline by utilizing a pre-trained 3D GAN and the rich text embedding capabilities within CLIP model. Notably, we do not employ any inversion bottleneck in dataset generation. Instead, we randomly generate training samples from the latent space of 3D GAN, allowing us to manipulate the rich latent space of GAN to generate ages even with large gaps. With the generated dataset, we train a viewpoint-aware diffusion-based aging model to control the camera pose and facial age. Through quantitative and qualitative evaluations, we demonstrate that DiffAge3D outperforms existing methods, particularly in multiview-consistent aging and fine details preservation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google