AsConvSR: Fast and Lightweight Super-Resolution Network with Assembled Convolutions

要約

【タイトル】AsConvSR：アセンブルドコンボリューションを使用した高速で軽量なスーパーリゾリューションネットワーク

【要約】
– 720p(HD)、1080p(FHD)、4K(UHD)の画像や動画がテレビやスマートフォン、VRなどのディスプレイ機器で一般的になった。しかし、これらの高解像度の画像は、インターネット帯域幅の制限により、期待されるビジュアル効果を得ることができず、スーパーリゾリューションネットワークがリアルタイム性を実現するために大きな課題を提起している。
– ピクセルアンシャッフル、リピートアップスケーリング、ローカルスキップコネクションの除去など、効率的なネットワーク設計を複数探索し、高速かつ軽量なスーパーリゾリューションネットワークを提案する。さらに、スーパーリゾリューションにおける分割制御のアイデアの応用を解析し、入力特徴に応じて畳み込みカーネルを適応させるアセンブリドコンボリューションを提案する。
– 試験の結果、提案手法はすべての最新の効率的なスーパーリゾリューションモデルを上回り、ランタイムと品質の面で最適な結果を達成することができた。また、提案手法はNTIRE 2023リアルタイムスーパーリゾリューション-トラック1（2倍）で1位を獲得した。コードは https://gitee.com/mindspore/models/tree/master/research/cv/AsConvSR で公開されている。

要約(オリジナル)

In recent years, videos and images in 720p (HD), 1080p (FHD) and 4K (UHD) resolution have become more popular for display devices such as TVs, mobile phones and VR. However, these high resolution images cannot achieve the expected visual effect due to the limitation of the internet bandwidth, and bring a great challenge for super-resolution networks to achieve real-time performance. Following this challenge, we explore multiple efficient network designs, such as pixel-unshuffle, repeat upscaling, and local skip connection removal, and propose a fast and lightweight super-resolution network. Furthermore, by analyzing the applications of the idea of divide-and-conquer in super-resolution, we propose assembled convolutions which can adapt convolution kernels according to the input features. Experiments suggest that our method outperforms all the state-of-the-art efficient super-resolution models, and achieves optimal results in terms of runtime and quality. In addition, our method also wins the first place in NTIRE 2023 Real-Time Super-Resolution – Track 1 ($\times$2). The code will be available at https://gitee.com/mindspore/models/tree/master/research/cv/AsConvSR

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI