Data-Free Backbone Fine-Tuning for Pruned Neural Networks

要約

モデル圧縮技術により、ディープ ニューラル ネットワークの計算負荷とメモリ消費が軽減されます。
圧縮操作の後、例:
パラメータ プルーニングでは、通常、モデルは元のトレーニング データセットに基づいて微調整され、圧縮によるパフォーマンスの低下から回復します。
ただし、プライバシーの問題やその他の要因により、トレーニング データが常に利用できるとは限りません。
この研究では、ディープ ニューラル ネットワークのバックボーンを枝刈りするためのデータフリーの微調整アプローチを紹介します。
特に、プルーニングされたネットワーク バックボーンは、合成的に生成された画像と、プルーニングされていないバックボーンの出力特徴マップを模倣するために提案された中間監視を使用してトレーニングされます。
その後、プルーニングされたバックボーンを元のネットワーク ヘッドと組み合わせて予測を行うことができます。
バックボーン プルーニングに L1 プルーニングを利用しながら、勾配をノイズ画像に逆伝播することによって合成画像を生成します。
私たちの実験では、バックボーンのみを枝刈りするため、アプローチがタスクに依存しないことを示しました。
2D 人間の姿勢推定、物体検出、画像分類に関するアプローチを評価することで、枝刈りされていないモデルと比較して有望なパフォーマンスが実証されました。
私たちのコードは https://github.com/holzbock/dfbf で入手できます。

要約(オリジナル)

Model compression techniques reduce the computational load and memory consumption of deep neural networks. After the compression operation, e.g. parameter pruning, the model is normally fine-tuned on the original training dataset to recover from the performance drop caused by compression. However, the training data is not always available due to privacy issues or other factors. In this work, we present a data-free fine-tuning approach for pruning the backbone of deep neural networks. In particular, the pruned network backbone is trained with synthetically generated images, and our proposed intermediate supervision to mimic the unpruned backbone’s output feature map. Afterwards, the pruned backbone can be combined with the original network head to make predictions. We generate synthetic images by back-propagating gradients to noise images while relying on L1-pruning for the backbone pruning. In our experiments, we show that our approach is task-independent due to pruning only the backbone. By evaluating our approach on 2D human pose estimation, object detection, and image classification, we demonstrate promising performance compared to the unpruned model. Our code is available at https://github.com/holzbock/dfbf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google