Realtime Fewshot Portrait Stylization Based On Geometric Alignment

要約

このホワイト ペーパーでは、リアルタイムのモバイル アプリケーション用に設計されたポートレート スタイル化方法を、限られたスタイルの例を使用して紹介します。
以前の学習ベースの様式化方法は、ポートレート ドメインとスタイル ドメインの間の幾何学的および意味的なギャップに悩まされており、スタイル情報がポートレート画像に正しく転送されず、様式化の品質が低下していました。
人間の顔属性の幾何学的事前分布に基づいて、この問題に取り組むために幾何学的配置を利用することを提案します。
まず、ジェネレータ ネットワークのフィーチャ マップに Thin-Plate-Spline (TPS) を適用し、ピクセル空間のスタイル画像にも直接適用して、同一のランドマークを持つ位置合わせされたポートレート スタイルの画像ペアを生成し、2 つのドメイン間の幾何学的ギャップを閉じます。
次に、敵対的学習は、ポートレート画像のテクスチャと色をスタイル ドメインにマッピングします。
最後に、幾何学的認識サイクルの一貫性により、コンテンツとアイデンティティ情報が変更されずに保持され、変形不変制約により、アーティファクトと歪みが抑制されます。
質的および量的比較により、私たちの方法が既存の方法よりも優れていることが検証され、実験では、モバイル デバイス上でリアルタイム (40 FPS 以上) で、限られたスタイルの例 (100 以下) で私たちの方法をトレーニングできることが証明されています。
切除研究は、フレームワーク内の各コンポーネントの有効性を示しています。

要約(オリジナル)

This paper presents a portrait stylization method designed for real-time mobile applications with limited style examples available. Previous learning based stylization methods suffer from the geometric and semantic gaps between portrait domain and style domain, which obstacles the style information to be correctly transferred to the portrait images, leading to poor stylization quality. Based on the geometric prior of human facial attributions, we propose to utilize geometric alignment to tackle this issue. Firstly, we apply Thin-Plate-Spline (TPS) on feature maps in the generator network and also directly to style images in pixel space, generating aligned portrait-style image pairs with identical landmarks, which closes the geometric gaps between two domains. Secondly, adversarial learning maps the textures and colors of portrait images to the style domain. Finally, geometric aware cycle consistency preserves the content and identity information unchanged, and deformation invariant constraint suppresses artifacts and distortions. Qualitative and quantitative comparison validate our method outperforms existing methods, and experiments proof our method could be trained with limited style examples (100 or less) in real-time (more than 40 FPS) on mobile devices. Ablation study demonstrates the effectiveness of each component in the framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google