Can Unstructured Pruning Reduce the Depth in Deep Neural Networks?

要約

プルーニングは、ディープ ニューラル ネットワークのパフォーマンスを維持しながらサイズを削減するために広く使用されている手法です。
ただし、このような手法は、深いモデルを大規模に圧縮できるにもかかわらず、(構造化されている場合でも) モデルからレイヤー全体を削除することはほとんどできません。これは対処可能なタスクでしょうか?
この研究では、パフォーマンスを維持しながらディープ ニューラル ネットワークのサイズを削減することを目的とした革新的なエントロピー ガイド付きプルーニング アルゴリズムである EGP を紹介します。
EGP の主な焦点は、エントロピーの低い層での接続のプルーニングを優先し、最終的に接続を完全に削除することにあります。
ResNet-18 や Swin-T などの人気モデルで行われた広範な実験を通じて、私たちの調査結果は、EGP が競争力のあるパフォーマンス レベルを維持しながらディープ ニューラル ネットワークを効果的に圧縮できることを実証しました。
私たちの結果は、非構造化枝刈りの利点の背後にある根本的なメカニズムを明らかにするだけでなく、エントロピー、枝刈り技術、深層学習のパフォーマンスの間の複雑な関係についてのさらなる研究への道を開きます。
EGP アルゴリズムとその洞察は、ネットワークの圧縮と最適化の分野を前進させる上で大きな期待を持っています。
EGP のソース コードはオープンソースで公開されています。

要約(オリジナル)

Pruning is a widely used technique for reducing the size of deep neural networks while maintaining their performance. However, such a technique, despite being able to massively compress deep models, is hardly able to remove entire layers from a model (even when structured): is this an addressable task? In this study, we introduce EGP, an innovative Entropy Guided Pruning algorithm aimed at reducing the size of deep neural networks while preserving their performance. The key focus of EGP is to prioritize pruning connections in layers with low entropy, ultimately leading to their complete removal. Through extensive experiments conducted on popular models like ResNet-18 and Swin-T, our findings demonstrate that EGP effectively compresses deep neural networks while maintaining competitive performance levels. Our results not only shed light on the underlying mechanism behind the advantages of unstructured pruning, but also pave the way for further investigations into the intricate relationship between entropy, pruning techniques, and deep learning performance. The EGP algorithm and its insights hold great promise for advancing the field of network compression and optimization. The source code for EGP is released open-source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google