APISR: Anime Production Inspired Real-World Anime Super-Resolution

要約

実世界のアニメ超解像（SR）はSRコミュニティで注目されつつあるが、既存の手法は依然としてフォトリアリスティック領域の技術を採用している。本論文では、アニメ制作のワークフローを分析し、その特徴を実世界のアニメSRのためにどのように利用するかを再考する。まず、手描きフレームを繰り返し使用するため、ビデオネットワークやデータセットはアニメSRには必要ないと主張する。その代わりに、ビデオソースから最も圧縮が少なく、最も情報量の多いフレームを選択することで、アニメ画像収集パイプラインを提案する。このパイプラインに基づき、アニメ制作向け画像（API）データセットを紹介する。さらに、アニメ特有の2つの課題である、歪んでかすれた手描きの線と、不要な色のアーチファクトを特定する。画像劣化モデルに予測指向の圧縮モジュールを導入し、手描き線を強調した擬似地紋を準備することで、最初の課題に対処する。さらに、不要な色彩アーチファクトを軽減し、視覚的明瞭度を向上させるために、アニメとフォトリアリスティックな高レベル特徴の両方を組み合わせたバランスツイン知覚損失を導入する。公開ベンチマークを用いた広範な実験により本手法を評価し、本手法が最先端のアニメデータセットで訓練されたアプローチを凌駕することを示す。

要約(オリジナル)

While real-world anime super-resolution (SR) has gained increasing attention in the SR community, existing methods still adopt techniques from the photorealistic domain. In this paper, we analyze the anime production workflow and rethink how to use characteristics of it for the sake of the real-world anime SR. First, we argue that video networks and datasets are not necessary for anime SR due to the repetition use of hand-drawing frames. Instead, we propose an anime image collection pipeline by choosing the least compressed and the most informative frames from the video sources. Based on this pipeline, we introduce the Anime Production-oriented Image (API) dataset. In addition, we identify two anime-specific challenges of distorted and faint hand-drawn lines and unwanted color artifacts. We address the first issue by introducing a prediction-oriented compression module in the image degradation model and a pseudo-ground truth preparation with enhanced hand-drawn lines. In addition, we introduce the balanced twin perceptual loss combining both anime and photorealistic high-level features to mitigate unwanted color artifacts and increase visual clarity. We evaluate our method through extensive experiments on the public benchmark, showing our method outperforms state-of-the-art anime dataset-trained approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL