Attentive Fine-Grained Structured Sparsity for Image Restoration

要約

画像復元タスクは、大規模なディープモデルを開発することにより、近年大幅なパフォーマンスの向上を目撃しています。
卓越したパフォーマンスにもかかわらず、ディープモデルで要求される大量の計算により、画像復元の適用が制限されています。
制限を解除するには、精度を維持しながらネットワークのサイズを縮小する必要があります。
最近、N：M構造化剪定は、精度の制約でモデルを効率的にするための効果的で実用的な剪定アプローチの1つとして登場しました。
ただし、画像復元ネットワークのさまざまなレイヤーのさまざまな計算の複雑さとパフォーマンス要件を説明できません。
効率と復元精度の間のトレードオフをさらに最適化するために、各層でN：M構造化スパース性の剪定比を決定する新しい剪定方法を提案します。
超解像およびぼけ除去タスクに関する広範な実験結果は、以前の剪定方法を大幅に上回る私たちの方法の有効性を示しています。
提案されたメソッドのPyTorch実装は、https：//github.com/JungHunOh/SLS_CVPR2022で公開されます。

要約(オリジナル)

Image restoration tasks have witnessed great performance improvement in recent years by developing large deep models. Despite the outstanding performance, the heavy computation demanded by the deep models has restricted the application of image restoration. To lift the restriction, it is required to reduce the size of the networks while maintaining accuracy. Recently, N:M structured pruning has appeared as one of the effective and practical pruning approaches for making the model efficient with the accuracy constraint. However, it fails to account for different computational complexities and performance requirements for different layers of an image restoration network. To further optimize the trade-off between the efficiency and the restoration accuracy, we propose a novel pruning method that determines the pruning ratio for N:M structured sparsity at each layer. Extensive experimental results on super-resolution and deblurring tasks demonstrate the efficacy of our method which outperforms previous pruning methods significantly. PyTorch implementation for the proposed methods will be publicly available at https://github.com/JungHunOh/SLS_CVPR2022.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google