Introducing Explicit Gaze Constraints to Face Swapping

要約

顔の交換では、ある顔のアイデンティティと別の顔の非外観属性 (表情、頭のポーズ、照明) を組み合わせて、合成顔を生成します。
このテクノロジーは急速に改善されていますが、一部の属性、特に視線を再構築する場合はうまくいきません。
顔全体を考慮した画像ベースの損失メトリクスは、知覚的に重要ではあるが空間的に小さい目の領域を効果的に捕捉しません。
顔の交換における視線を改善すると、自然さとリアルさが向上し、エンターテイメントや人間のコンピュータとの対話などのアプリケーションに利益をもたらします。
視線の改善により、ディープフェイク検出の取り組みも直接的に改善され、分類に視線に依存する分類器にとって理想的なトレーニング データとして機能します。
我々は、視線予測を活用してトレーニング中に顔交換モデルに情報を提供し、既存の方法と比較する新しい損失関数を提案します。
私たちは、顔の交換の結果として視線に大きな利益をもたらすあらゆる方法を見つけました。

要約(オリジナル)

Face swapping combines one face’s identity with another face’s non-appearance attributes (expression, head pose, lighting) to generate a synthetic face. This technology is rapidly improving, but falls flat when reconstructing some attributes, particularly gaze. Image-based loss metrics that consider the full face do not effectively capture the perceptually important, yet spatially small, eye regions. Improving gaze in face swaps can improve naturalness and realism, benefiting applications in entertainment, human computer interaction, and more. Improved gaze will also directly improve Deepfake detection efforts, serving as ideal training data for classifiers that rely on gaze for classification. We propose a novel loss function that leverages gaze prediction to inform the face swap model during training and compare against existing methods. We find all methods to significantly benefit gaze in resulting face swaps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google