DisCO: Portrait Distortion Correction with Perspective-Aware 3D GANs

要約

至近距離で撮影されたクローズアップの顔画像は、多くの場合、遠近法の歪みに悩まされ、その結果、顔の特徴が誇張され、不自然で魅力のない外観になります。
単一のクローズアップ顔の遠近歪みを修正するためのシンプルで効果的な方法を提案します。
最初に、カメラの内部/外部パラメーターと顔の潜在コードを共同で最適化することにより、遠近法で歪んだ入力顔画像を使用して GAN 反転を実行します。
共同最適化のあいまいさに対処するために、焦点距離の再パラメータ化、最適化スケジューリング、および幾何学的正則化を開発します。
適切な焦点距離とカメラ距離でポートレートを再レンダリングすると、これらの歪みが効果的に修正され、より自然に見える結果が得られます。
私たちの実験は、私たちの方法が視覚的品質に関する以前のアプローチと比較して有利であることを示しています。
野生のポートレート写真に対するこの方法の適用性を検証する多数の例を紹介します。

要約(オリジナル)

Close-up facial images captured at close distances often suffer from perspective distortion, resulting in exaggerated facial features and unnatural/unattractive appearances. We propose a simple yet effective method for correcting perspective distortions in a single close-up face. We first perform GAN inversion using a perspective-distorted input facial image by jointly optimizing the camera intrinsic/extrinsic parameters and face latent code. To address the ambiguity of joint optimization, we develop focal length reparametrization, optimization scheduling, and geometric regularization. Re-rendering the portrait at a proper focal length and camera distance effectively corrects these distortions and produces more natural-looking results. Our experiments show that our method compares favorably against previous approaches regarding visual quality. We showcase numerous examples validating the applicability of our method on portrait photos in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google