Till the Layers Collapse: Compressing a Deep Neural Network through the Lenses of Batch Normalization Layers

要約

現在、ディープ ニューラル ネットワークはさまざまな複雑なタスクを処理できるため、広く使用されています。
その汎用性により、現代のテクノロジーにおいて非常に強力なツールとなっています。
ただし、ディープ ニューラル ネットワークはパラメータが過剰に設定されることがよくあります。
これらの大規模なモデルを使用すると、大量の計算リソースが消費されます。
この論文では、バッチ正規化層のレンズを通じてディープ ニューラル ネットワークを圧縮する \textbf{T}ill the \textbf{L}ayers \textbf{C}ollapse (TLC) と呼ばれるメソッドを紹介します。
これらのネットワークの深さを減らすことにより、私たちの方法はディープ ニューラル ネットワークの計算要件と全体的なレイテンシーを減少させます。
画像分類と自然言語処理 (NLP) タスクの両方にわたって、Swin-T、MobileNet-V2、RoBERTa などの一般的なモデルでメソッドを検証します。

要約(オリジナル)

Today, deep neural networks are widely used since they can handle a variety of complex tasks. Their generality makes them very powerful tools in modern technology. However, deep neural networks are often overparameterized. The usage of these large models consumes a lot of computation resources. In this paper, we introduce a method called \textbf{T}ill the \textbf{L}ayers \textbf{C}ollapse (TLC), which compresses deep neural networks through the lenses of batch normalization layers. By reducing the depth of these networks, our method decreases deep neural networks’ computational requirements and overall latency. We validate our method on popular models such as Swin-T, MobileNet-V2, and RoBERTa, across both image classification and natural language processing (NLP) tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google