Learning Full-Head 3D GANs from a Single-View Portrait Dataset

要約

33D 対応の顔ジェネレータは、通常、2D 現実の顔画像データセットでトレーニングされます。
それにもかかわらず、既存の顔認識方法では、さまざまなカメラ角度からキャプチャされた顔データを抽出するのに苦労することがよくあります。
さらに、さまざまな体のポーズを含む自然界の画像は、3D 対応のジェネレーターにとって高次元の課題をもたらし、完全な首と肩の領域を含むデータを利用することが困難になります。
その結果、これらの顔画像データセットには正面付近の顔データのみが含まれることが多く、3D 対応の顔ジェネレーターが \textit{全頭} 3D ポートレートを構築する際に課題が生じます。
このために、まずデータセット {$\it{360}^{\circ}$}-\textit{Portrait}-\textit{HQ} (\textit{$\it{360}^{\circ}
$PHQ})、これは、さまざまなカメラ パラメーター {(ヨー角は $360^{\circ}$ の範囲全体に及びます)} と体のポーズで注釈が付けられた、高品質の単一ビューの実際のポートレートで構成されています。
次に、\textit{3DPortraitGAN} を提案します。これは、体のポーズのさまざまな \textit{$\it{360}^{\circ}$PHQ} から正規の 3D アバター分布を学習する、初の 3D 対応の全頭ポートレート ジェネレータです。
ボディポーズの​​自己学習を含むデータセット。
私たちのモデルは、全頭 3D 表現を使用して、すべてのカメラ角度 (${360}^{\circ}$) からビュー一貫性のあるポートレート画像を生成できます。
メッシュガイドによる変形フィールドをボリュームレンダリングに組み込んで変形結果を生成し、標準ジェネレーターを使用してデータセットの身体姿勢分布に準拠するポートレート画像を生成します。
2 つのポーズ予測子をフレームワークに統合して、より正確な体のポーズを予測し、データセット内で不正確に推定された体のポーズの問題に対処します。
私たちの実験では、提案されたフレームワークが、すべてのカメラ角度から完全なジオメトリを備えたビュー一貫性のあるリアルなポートレート画像を生成し、ポートレートの体のポーズを正確に予測できることを示しています。

要約(オリジナル)

33D-aware face generators are commonly trained on 2D real-life face image datasets. Nevertheless, existing facial recognition methods often struggle to extract face data captured from various camera angles. Furthermore, in-the-wild images with diverse body poses introduce a high-dimensional challenge for 3D-aware generators, making it difficult to utilize data that contains complete neck and shoulder regions. Consequently, these face image datasets often contain only near-frontal face data, which poses challenges for 3D-aware face generators to construct \textit{full-head} 3D portraits. To this end, we first create the dataset {$\it{360}^{\circ}$}-\textit{Portrait}-\textit{HQ} (\textit{$\it{360}^{\circ}$PHQ}), which consists of high-quality single-view real portraits annotated with a variety of camera parameters {(the yaw angles span the entire $360^{\circ}$ range)} and body poses. We then propose \textit{3DPortraitGAN}, the first 3D-aware full-head portrait generator that learns a canonical 3D avatar distribution from the body-pose-various \textit{$\it{360}^{\circ}$PHQ} dataset with body pose self-learning. Our model can generate view-consistent portrait images from all camera angles (${360}^{\circ}$) with a full-head 3D representation. We incorporate a mesh-guided deformation field into volumetric rendering to produce deformed results to generate portrait images that conform to the body pose distribution of the dataset using our canonical generator. We integrate two pose predictors into our framework to predict more accurate body poses to address the issue of inaccurately estimated body poses in our dataset. Our experiments show that the proposed framework can generate view-consistent, realistic portrait images with complete geometry from all camera angles and accurately predict portrait body pose.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google