Unsupervised High-Resolution Portrait Gaze Correction and Animation

要約

本論文では、高解像度で制約のないポートレート画像に対して、視線角度と頭部ポーズのアノテーションなしで学習できる視線補正・アニメーション手法を提案する。一般的な視線補正手法は、通常、学習データに正確な視線と頭部姿勢の情報を付与する必要がある。この問題を教師なし手法で解決することは、特に野生の高解像度顔画像において、視線と頭部ポーズのラベルを付与することが容易でないため、依然として未解決の課題となっています。この問題を解決するために、我々はまず2つの新しいポートレートデータセットを作成する。CelebGazeと高解像度CelebHQGazeである。次に、視線補正タスクを画像インペインティング問題として定式化し、視線補正モジュール（GCM）と視線アニメーションモジュール（GAM）を用いて対処する。さらに、教師なし学習法（Synthesis-As-Training）を提案し、目領域特徴と視線角度の相関を学習する。その結果、学習された潜在空間を、この空間における意味的な補間を用いた視線アニメーションのために用いることができる。さらに、学習と推論段階でのメモリと計算コストの両方を軽減するために、GCM と GAM を統合した Coarse-to-Fine Module (CFM) を提案します。本手法は、低解像度と高解像度の顔データセットにおいて、視線補正と視線アニメーションの両方のタスクに対する有効性を広範な実験により検証し、本手法の優位性を現状と比較して実証しています。コードは https://github.com/zhangqianhui/GazeAnimationV2 で公開されています。

要約(オリジナル)

This paper proposes a gaze correction and animation method for high-resolution, unconstrained portrait images, which can be trained without the gaze angle and the head pose annotations. Common gaze-correction methods usually require annotating training data with precise gaze, and head pose information. Solving this problem using an unsupervised method remains an open problem, especially for high-resolution face images in the wild, which are not easy to annotate with gaze and head pose labels. To address this issue, we first create two new portrait datasets: CelebGaze and high-resolution CelebHQGaze. Second, we formulate the gaze correction task as an image inpainting problem, addressed using a Gaze Correction Module (GCM) and a Gaze Animation Module (GAM). Moreover, we propose an unsupervised training strategy, i.e., Synthesis-As-Training, to learn the correlation between the eye region features and the gaze angle. As a result, we can use the learned latent space for gaze animation with semantic interpolation in this space. Moreover, to alleviate both the memory and the computational costs in the training and the inference stage, we propose a Coarse-to-Fine Module (CFM) integrated with GCM and GAM. Extensive experiments validate the effectiveness of our method for both the gaze correction and the gaze animation tasks in both low and high-resolution face datasets in the wild and demonstrate the superiority of our method with respect to the state of the arts. Code is available at https://github.com/zhangqianhui/GazeAnimationV2

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL