Fast Nearest Convolution for Real-Time Efficient Image Super-Resolution

要約

ディープ ラーニング ベースの単一画像超解像 (SISR) アプローチは多くの注目を集め、最新の高度な GPU で目覚ましい成功を収めています。
ただし、最先端の方法のほとんどは、膨大な数のパラメーター、メモリ、および計算リソースを必要とし、現在のモバイル デバイスの CPU/NPU に適用すると、通常は推論時間が遅くなります。
この論文では、NPU にやさしく、リアルタイムで信頼性の高い超解像を実行できる、高速の最も近い畳み込みモジュール (NCNet) を備えた単純な単純な畳み込みネットワークを提案します。
提案された最も近い畳み込みは、最も近いアップサンプリングと同じパフォーマンスを持ちますが、はるかに高速で、Android NNAPI により適しています。
私たちのモデルは、8 ビットの量子化を使用してモバイル デバイスに簡単に展開でき、すべての主要なモバイル AI アクセラレータと完全に互換性があります。
さらに、ネットワーク アーキテクチャの効率性を示すために、モバイル デバイスでさまざまなテンソル操作に関する包括的な実験を行います。
当社の NCNet は DIV2K 3x データセットでトレーニングおよび検証されており、他の効率的な SR メソッドとの比較により、NCNet がより少ない推論時間で忠実度の高い SR 結果を達成できることが実証されました。
コードと事前トレーニング済みのモデルは、\url{https://github.com/Algolzw/NCNet} で公開されています。

要約(オリジナル)

Deep learning-based single image super-resolution (SISR) approaches have drawn much attention and achieved remarkable success on modern advanced GPUs. However, most state-of-the-art methods require a huge number of parameters, memories, and computational resources, which usually show inferior inference times when applying them to current mobile device CPUs/NPUs. In this paper, we propose a simple plain convolution network with a fast nearest convolution module (NCNet), which is NPU-friendly and can perform a reliable super-resolution in real-time. The proposed nearest convolution has the same performance as the nearest upsampling but is much faster and more suitable for Android NNAPI. Our model can be easily deployed on mobile devices with 8-bit quantization and is fully compatible with all major mobile AI accelerators. Moreover, we conduct comprehensive experiments on different tensor operations on a mobile device to illustrate the efficiency of our network architecture. Our NCNet is trained and validated on the DIV2K 3x dataset, and the comparison with other efficient SR methods demonstrated that the NCNet can achieve high fidelity SR results while using fewer inference times. Our codes and pretrained models are publicly available at \url{https://github.com/Algolzw/NCNet}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google