Neural Implicit Morphing of Face Images

要約

顔のモーフィングは、コンピュータグラフィックスにおける問題であり、多くの芸術的、法医学的応用がある。これは、ポーズ、照明、性別、民族のバリエーションに起因する困難な問題である。このタスクは、特徴の整列のためのワーピングと、ワーピングされた画像間のシームレスな遷移のためのブレンドから構成される。我々は、このような顔画像のワーピングとブレンディングを表現するために、協調ベースのニューラルネットワークを活用することを提案する。学習時には、離散化を用いない古典的なアプローチで用いられるエネルギー関数を組み合わせることで、このようなネットワークの滑らかさと柔軟性を利用する。さらに、我々の手法は時間に依存するため、画像の連続的なワープ／ブレンドを可能にする。モーフィング推論の際には、時間に依存するワーピングの直接変換と逆変換の両方が必要である。第1（第2）は、ターゲット（ソース）画像をソース（ターゲット）画像にワーピングする役割を担う。私たちのニューラル・ワーピングは、これらのマップを1つのネットワークに格納することで、反転の必要性を排除している。実験の結果、我々の方法は、画質と顔モーフィング検出器のレンズの下で、古典的モデルと生成モデルの両方と競合することが示された。美的にも、得られた画像は、文献ではまだ一般的でない、多様な顔のシームレスな混合を示す。

要約(オリジナル)

Face morphing is a problem in computer graphics with numerous artistic and forensic applications. It is challenging due to variations in pose, lighting, gender, and ethnicity. This task consists of a warping for feature alignment and a blending for a seamless transition between the warped images. We propose to leverage coord-based neural networks to represent such warpings and blendings of face images. During training, we exploit the smoothness and flexibility of such networks by combining energy functionals employed in classical approaches without discretizations. Additionally, our method is time-dependent, allowing a continuous warping/blending of the images. During morphing inference, we need both direct and inverse transformations of the time-dependent warping. The first (second) is responsible for warping the target (source) image into the source (target) image. Our neural warping stores those maps in a single network dismissing the need for inverting them. The results of our experiments indicate that our method is competitive with both classical and generative models under the lens of image quality and face-morphing detectors. Aesthetically, the resulting images present a seamless blending of diverse faces not yet usual in the literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL