SwiftAvatar: Efficient Auto-Creation of Parameterized Stylized Character on Arbitrary Avatar Engines

要約

パラメーター化された定型化されたキャラクターの作成には、アバター エンジンによって解釈できる「アバター ベクトル」とも呼ばれる多数のパラメーターを慎重に選択する必要があります。
ただし、ユーザーのアバターを自動作成する既存の教師なしアバター ベクトル推定方法は、現実的な顔と様式化されたアバター画像との間のドメイン ギャップのために、しばしば機能しません。
この目的のために、以前の作品よりも明らかに優れている新しいアバター自動作成フレームワークである SwiftAvatar を提案します。
SwiftAvatar は、デュアル ドメイン ジェネレーターを導入して、共有潜在コードを使用してリアルな顔とアバター画像のペアを作成します。
次に、アバターベクトルを使用してエンジンからレンダリングされたアバター画像に対してGAN反転を実行することにより、潜在コードをアバターベクトルとペアとしてブリッジすることができます。
このようにして、アバター ベクトルとそれに対応するリアルな顔からなるペア データをできるだけ多く、高品質で合成することができます。
また、合成の多様性を改善するためのセマンティック拡張も提案します。
最後に、軽量のアバター ベクトル推定器が合成ペアでトレーニングされ、効率的な自動作成が実装されます。
私たちの実験では、2 つの異なるアバター エンジンでの SwiftAvatar の有効性と効率性が実証されています。
SwiftAvatar の優位性と柔軟性の利点は、主観評価と客観評価の両方でも検証されています。

要約(オリジナル)

The creation of a parameterized stylized character involves careful selection of numerous parameters, also known as the ‘avatar vectors’ that can be interpreted by the avatar engine. Existing unsupervised avatar vector estimation methods that auto-create avatars for users, however, often fail to work because of the domain gap between realistic faces and stylized avatar images. To this end, we propose SwiftAvatar, a novel avatar auto-creation framework that is evidently superior to previous works. SwiftAvatar introduces dual-domain generators to create pairs of realistic faces and avatar images using shared latent codes. The latent codes can then be bridged with the avatar vectors as pairs, by performing GAN inversion on the avatar images rendered from the engine using avatar vectors. Through this way, we are able to synthesize paired data in high-quality as many as possible, consisting of avatar vectors and their corresponding realistic faces. We also propose semantic augmentation to improve the diversity of synthesis. Finally, a light-weight avatar vector estimator is trained on the synthetic pairs to implement efficient auto-creation. Our experiments demonstrate the effectiveness and efficiency of SwiftAvatar on two different avatar engines. The superiority and advantageous flexibility of SwiftAvatar are also verified in both subjective and objective evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google