AnimeSR: Learning Real-World Super-Resolution Models for Animation Videos

要約

このホワイトペーパーでは、アニメーションビデオの実世界のビデオ超解像度（VSR）の問題を研究し、実用的なアニメーションVSRの3つの重要な改善点を明らかにします。
まず、最近の現実世界の超解像アプローチは、通常、ブラー、ノイズ、圧縮などの学習機能のない基本的な演算子を使用した劣化シミュレーションに依存しています。
この作業では、実際の低品質のアニメーションビデオからこのような基本的な演算子を学習し、学習した演算子を劣化生成パイプラインに組み込むことを提案します。
このようなニューラルネットワークベースの基本的な演算子は、実際の劣化の分布をより適切に把握するのに役立ちます。
次に、アニメーションVSRの包括的なトレーニングと評価を容易にするために、大規模で高品質のアニメーションビデオデータセットAVCが構築されています。
第三に、効率的なマルチスケールネットワーク構造をさらに調査します。
これは、単方向リカレントネットワークの効率とスライディングウィンドウベースの方法の有効性を利用しています。
上記の繊細なデザインのおかげで、私たちの手法であるAnimeSRは、現実世界の低品質のアニメーションビデオを効果的かつ効率的に復元し、以前の最先端の手法よりも優れたパフォーマンスを実現できます。

要約(オリジナル)

This paper studies the problem of real-world video super-resolution (VSR) for animation videos, and reveals three key improvements for practical animation VSR. First, recent real-world super-resolution approaches typically rely on degradation simulation using basic operators without any learning capability, such as blur, noise, and compression. In this work, we propose to learn such basic operators from real low-quality animation videos, and incorporate the learned ones into the degradation generation pipeline. Such neural-network-based basic operators could help to better capture the distribution of real degradations. Second, a large-scale high-quality animation video dataset, AVC, is built to facilitate comprehensive training and evaluations for animation VSR. Third, we further investigate an efficient multi-scale network structure. It takes advantage of the efficiency of unidirectional recurrent networks and the effectiveness of sliding-window-based methods. Thanks to the above delicate designs, our method, AnimeSR, is capable of restoring real-world low-quality animation videos effectively and efficiently, achieving superior performance to previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google