DIPNet: Efficiency Distillation and Iterative Pruning for Image Super-Resolution

要約

【タイトル】DIPNet：イメージスーパーレゾリューションのための効率的な蒸留および反復剪定

【要約】
– 画像のスーパーレゾリューションにおいて、パラメータやフローティングポイント演算の削減を目的とした様々なネットワークの設計に主に焦点を当てた最近の効率的なスーパーレゾリューションの研究が行われてきた。
– 学習能力と軽量な学習ネットワークの妥当性を向上させるために、改良された高解像度出力を付加的な監督として利用し、軽量な学習ネットワークに優れた性能を実現する新しい多段階の軽量ネットワークブースティング手法が提案された。
– 学生ネットワークが収束した後、再パラメータ化技術と反復的なネットワーク剪定を用いて、より軽量なレベルのネットワーク構造にさらに単純化する。
– 効果的な軽量ネットワークトレーニング戦略を採用し、マルチアンカー蒸留とプログレッシブ学習を組み合わせることで、軽量ネットワークが優れた性能を実現できる。
– 最終的に、提案された手法は、競技者全員の中でNTIRE 2023効率的なスーパーレゾリューションチャレンジで最も高速な推論時間を実現し、競争力のあるスーパーレゾリューション性能を維持する。
– さらに、提案された構成要素の効果を検証するために幅広い実験が行われ、DIV2Kという代表的なデータセットにおいて、より高速な推論と少ないネットワークパラメータの両方で比較可能な性能を達成することが示された。

要約(オリジナル)

Efficient deep learning-based approaches have achieved remarkable performance in single image super-resolution. However, recent studies on efficient super-resolution have mainly focused on reducing the number of parameters and floating-point operations through various network designs. Although these methods can decrease the number of parameters and floating-point operations, they may not necessarily reduce actual running time. To address this issue, we propose a novel multi-stage lightweight network boosting method, which can enable lightweight networks to achieve outstanding performance. Specifically, we leverage enhanced high-resolution output as additional supervision to improve the learning ability of lightweight student networks. Upon convergence of the student network, we further simplify our network structure to a more lightweight level using reparameterization techniques and iterative network pruning. Meanwhile, we adopt an effective lightweight network training strategy that combines multi-anchor distillation and progressive learning, enabling the lightweight network to achieve outstanding performance. Ultimately, our proposed method achieves the fastest inference time among all participants in the NTIRE 2023 efficient super-resolution challenge while maintaining competitive super-resolution performance. Additionally, extensive experiments are conducted to demonstrate the effectiveness of the proposed components. The results show that our approach achieves comparable performance in representative dataset DIV2K, both qualitatively and quantitatively, with faster inference and fewer number of network parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI