ClassPruning: Speed Up Image Restoration Networks by Dynamic N:M Pruning

要約

画像復元タスクは、ディープ ニューラル ネットワークの急速な進歩により、パフォーマンスが大幅に向上しました。
ただし、最も普及している深層学習モデルは静的に推論を実行し、異なる画像にはさまざまな復元の難しさがあり、わずかに劣化した画像はよりスリムなサブネットワークで十分に復元できることを無視しています。
この目的のために、ClassPruning と呼ばれる新しいソリューション パイプラインを提案します。これは、さまざまな機能を備えたネットワークを利用して、さまざまな復元の困難さを伴う画像を処理します。
特に、軽量の分類子を使用して画像復元の難しさを特定し、ベース復元ネットワークで動的な N:M のきめの細かい構造化プルーニングを実行することにより、予測された難しさに基づいて、さまざまな機能を持つスパース サブネットワークをサンプリングできます。
さらに、トレーニングを安定させ、パフォーマンスを向上させるための 2 つの追加の損失条件と共に、新しいトレーニング戦略を提案します。
実験は、ClassPruning がパフォーマンスを維持しながら、既存のメソッドが約 40% の FLOP を節約するのに役立つことを示しています。

要約(オリジナル)

Image restoration tasks have achieved tremendous performance improvements with the rapid advancement of deep neural networks. However, most prevalent deep learning models perform inference statically, ignoring that different images have varying restoration difficulties and lightly degraded images can be well restored by slimmer subnetworks. To this end, we propose a new solution pipeline dubbed ClassPruning that utilizes networks with different capabilities to process images with varying restoration difficulties. In particular, we use a lightweight classifier to identify the image restoration difficulty, and then the sparse subnetworks with different capabilities can be sampled based on predicted difficulty by performing dynamic N:M fine-grained structured pruning on base restoration networks. We further propose a novel training strategy along with two additional loss terms to stabilize training and improve performance. Experiments demonstrate that ClassPruning can help existing methods save approximately 40% FLOPs while maintaining performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google