Towards mitigating uncann(eye)ness in face swaps via gaze-centric loss terms

要約

顔の入れ替えの進歩により、非常にリアルな顔の自動生成が可能になった。しかし、顔の入れ替えは実際の顔を見るときとは異なって知覚され、目を取り巻く視聴者の行動には重要な違いがある。顔の入れ替えアルゴリズムは一般的に目を重視せず、顔全体を考慮したピクセルや特徴のマッチングロスに頼って学習プロセスを導いている。我々はさらに、不気味の谷効果の有無に焦点を当てた分析を行い、顔の入れ替えに対する視聴者の知覚を調査する。さらに、目の表現を直接改善するために事前に訓練された視線推定ネットワークを活用して、顔交換モデルの訓練のための新しい損失方程式を提案する。我々は、閲覧された顔の入れ替わりが視聴者から不気味な反応を引き起こすことを確認した。我々の提案する改良は、顔スワップとその元素材の間の視角誤差を大幅に減少させる。さらに、我々の方法は、視聴者がディープフェイク検出タスクを実行する際の決定要因としての目の有病率を減少させる。我々の発見は、特殊効果、デジタルアバター、プライバシーメカニズムなどのための顔スワッピングに影響を与え、ユーザーからの否定的な反応は、これらのアプリケーションの有効性を制限する可能性がある。私たちの視線改善は、的を絞ったアプローチによって否定的な視聴者の認識を緩和するための第一歩です。

要約(オリジナル)

Advances in face swapping have enabled the automatic generation of highly realistic faces. Yet face swaps are perceived differently than when looking at real faces, with key differences in viewer behavior surrounding the eyes. Face swapping algorithms generally place no emphasis on the eyes, relying on pixel or feature matching losses that consider the entire face to guide the training process. We further investigate viewer perception of face swaps, focusing our analysis on the presence of an uncanny valley effect. We additionally propose a novel loss equation for the training of face swapping models, leveraging a pretrained gaze estimation network to directly improve representation of the eyes. We confirm that viewed face swaps do elicit uncanny responses from viewers. Our proposed improvements significant reduce viewing angle errors between face swaps and their source material. Our method additionally reduces the prevalence of the eyes as a deciding factor when viewers perform deepfake detection tasks. Our findings have implications on face swapping for special effects, as digital avatars, as privacy mechanisms, and more; negative responses from users could limit effectiveness in said applications. Our gaze improvements are a first step towards alleviating negative viewer perceptions via a targeted approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL