DisCO: Portrait Distortion Correction with Perspective-Aware 3D GANs

要約

近距離で撮影された顔のクローズアップ画像は、遠近歪みが発生することが多く、その結果、顔の特徴が誇張され、不自然で魅力のない外観になってしまいます。
単一のクローズアップ顔の遠近歪みを補正するための、シンプルかつ効果的な方法を提案します。
まず、カメラの固有/外部パラメータと顔の潜在コードを共同最適化することで、遠近法で歪んだ入力顔画像を使用して GAN 逆変換を実行します。
共同最適化の曖昧さに対処するために、最適化のスケジューリング、再パラメータ化、および幾何学的正則化を短距離から開発します。
適切な焦点距離とカメラ距離でポートレートを再レンダリングすると、遠近法の歪みが効果的に補正され、より自然に見える結果が得られます。
私たちの実験は、私たちの方法が以前のアプローチと比べて定性的および定量的に優れていることを示しています。
私たちは、野生のポートレート写真に対する私たちの方法の適用性を検証する多数の例を紹介します。
今後の作業を容易にするために、コードと評価プロトコルをリリースします。

要約(オリジナル)

Close-up facial images captured at short distances often suffer from perspective distortion, resulting in exaggerated facial features and unnatural/unattractive appearances. We propose a simple yet effective method for correcting perspective distortions in a single close-up face. We first perform GAN inversion using a perspective-distorted input facial image by jointly optimizing the camera intrinsic/extrinsic parameters and face latent code. To address the ambiguity of joint optimization, we develop starting from a short distance, optimization scheduling, reparametrizations, and geometric regularization. Re-rendering the portrait at a proper focal length and camera distance effectively corrects perspective distortions and produces more natural-looking results. Our experiments show that our method compares favorably against previous approaches qualitatively and quantitatively. We showcase numerous examples validating the applicability of our method on in-the-wild portrait photos. We will release our code and the evaluation protocol to facilitate future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google