Scenimefy: Learning to Craft Anime Scene via Semi-Supervised Image-to-Image Translation

要約

複雑な現実世界の画像からアニメ シーンを自動的に高品質にレンダリングすることは、非常に実用的な価値があります。
このタスクの課題は、シーンの複雑さ、アニメ スタイルの独特の特徴、ドメイン ギャップを埋める高品質のデータセットの欠如にあります。
有望な試みにもかかわらず、これまでの取り組みでは、一貫した意味の保存、明白な様式化、および細かい詳細を備えた満足のいく結果を達成するにはまだ不十分です。
この研究では、これらの課題に対処する新しい半教師あり画像間変換フレームワークである Scenimefy を提案します。
私たちのアプローチは、構造の一貫した擬似ペアデータを使用した学習をガイドし、純粋な教師なし設定を簡素化します。
疑似データは、CLIP のような豊富なモデル事前分布を活用して、セマンティックに制約された StyleGAN から独自に導出されます。
さらに、セグメンテーションに基づくデータ選択を適用して、高品質の疑似監視を取得します。
スタイル化と細かいディテールを改善するために、パッチごとのコントラスト スタイルの損失が導入されています。
さらに、将来の研究を促進するために、高解像度のアニメ シーン データセットを提供します。
私たちの広範な実験により、知覚品質と定量的パフォーマンスの両方の点で、最先端のベースラインよりも私たちの方法が優れていることが実証されています。

要約(オリジナル)

Automatic high-quality rendering of anime scenes from complex real-world images is of significant practical value. The challenges of this task lie in the complexity of the scenes, the unique features of anime style, and the lack of high-quality datasets to bridge the domain gap. Despite promising attempts, previous efforts are still incompetent in achieving satisfactory results with consistent semantic preservation, evident stylization, and fine details. In this study, we propose Scenimefy, a novel semi-supervised image-to-image translation framework that addresses these challenges. Our approach guides the learning with structure-consistent pseudo paired data, simplifying the pure unsupervised setting. The pseudo data are derived uniquely from a semantic-constrained StyleGAN leveraging rich model priors like CLIP. We further apply segmentation-guided data selection to obtain high-quality pseudo supervision. A patch-wise contrastive style loss is introduced to improve stylization and fine details. Besides, we contribute a high-resolution anime scene dataset to facilitate future research. Our extensive experiments demonstrate the superiority of our method over state-of-the-art baselines in terms of both perceptual quality and quantitative performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google