SUPER: Selfie Undistortion and Head Pose Editing with Identity Preservation

要約

近距離から撮影したセルフポートレートは、大きな歪みにより顔の特徴が奇形になったり、頭のポーズが不適切な位置にあるため、不自然に見えたり、魅力的でさえない場合があります。
この論文では、顔のクローズアップトリミングで歪みを除去し、頭の姿勢を調整する新しい方法である SUPER を提案します。
カメラパラメータと顔潜在コードを最適化することで顔画像の 3D GAN 逆変換を実行し、生成された画像を取得します。
さらに、取得した潜在コードから深度を推定し、深度に起因する 3D メッシュを作成し、更新されたカメラ パラメーターでレンダリングして、歪んだポートレートを取得します。
最後に、可視領域が再投影され、遮蔽された部分が生成モデルで復元されるように、可視性ベースのブレンディングを適用します。
顔の歪みのないベンチマークと当社が独自に収集した頭部回転データセット (HeRo) を用いた実験では、SUPER が定性的および量的の両方で以前のアプローチを上回っており、フォトリアリスティックなセルフィー編集の新たな可能性を開くことが示されています。

要約(オリジナル)

Self-portraits captured from a short distance might look unnatural or even unattractive due to heavy distortions making facial features malformed, and ill-placed head poses. In this paper, we propose SUPER, a novel method of eliminating distortions and adjusting head pose in a close-up face crop. We perform 3D GAN inversion for a facial image by optimizing camera parameters and face latent code, which gives a generated image. Besides, we estimate depth from the obtained latent code, create a depth-induced 3D mesh, and render it with updated camera parameters to obtain a warped portrait. Finally, we apply the visibility-based blending so that visible regions are reprojected, and occluded parts are restored with a generative model. Experiments on face undistortion benchmarks and on our self-collected Head Rotation dataset (HeRo), show that SUPER outperforms previous approaches both qualitatively and quantitatively, opening new possibilities for photorealistic selfie editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google