AnimeSR: Learning Real-World Super-Resolution Models for Animation Videos

要約

このホワイト ペーパーでは、アニメーション ビデオの現実世界のビデオ超解像度 (VSR) の問題を研究し、実際のアニメーション VSR の 3 つの重要な改善点を明らかにします。
まず、最近の実世界の超解像アプローチは、通常、ぼかし、ノイズ、圧縮などの学習機能を持たない基本的な演算子を使用した劣化シミュレーションに依存しています。
この作業では、このような基本的な演算子を実際の低品質のアニメーション ビデオから学習し、学習したものを劣化生成パイプラインに組み込むことを提案します。
このようなニューラル ネットワーク ベースの基本的な演算子は、実際の劣化の分布をより適切に把握するのに役立ちます。
次に、大規模な高品質のアニメーション ビデオ データセットである AVC が構築され、アニメーション VSR の包括的なトレーニングと評価が容易になります。
第三に、効率的なマルチスケールネットワーク構造をさらに調査します。
これは、単方向再帰型ネットワークの効率性と、スライディング ウィンドウ ベースの方法の有効性を利用しています。
上記の繊細な設計のおかげで、私たちの方法である AnimeSR は、現実世界の低品質のアニメーション ビデオを効果的かつ効率的に復元することができ、これまでの最先端の方法よりも優れたパフォーマンスを実現しています。
コードとモデルは https://github.com/TencentARC/AnimeSR で入手できます。

要約(オリジナル)

This paper studies the problem of real-world video super-resolution (VSR) for animation videos, and reveals three key improvements for practical animation VSR. First, recent real-world super-resolution approaches typically rely on degradation simulation using basic operators without any learning capability, such as blur, noise, and compression. In this work, we propose to learn such basic operators from real low-quality animation videos, and incorporate the learned ones into the degradation generation pipeline. Such neural-network-based basic operators could help to better capture the distribution of real degradations. Second, a large-scale high-quality animation video dataset, AVC, is built to facilitate comprehensive training and evaluations for animation VSR. Third, we further investigate an efficient multi-scale network structure. It takes advantage of the efficiency of unidirectional recurrent networks and the effectiveness of sliding-window-based methods. Thanks to the above delicate designs, our method, AnimeSR, is capable of restoring real-world low-quality animation videos effectively and efficiently, achieving superior performance to previous state-of-the-art methods. Codes and models are available at https://github.com/TencentARC/AnimeSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google