Towards Explaining Deep Neural Network Compression Through a Probabilistic Latent Space

要約

深いニューラルネットワーク（DNNS）の印象的なパフォーマンスにもかかわらず、それらの計算の複雑さとストレージスペースの消費は、ネットワーク圧縮の概念につながりました。
剪定や低ランク分解などのDNN圧縮技術が広範囲に研究されていますが、理論的な説明には注意が不十分な注意が払われています。
この論文では、DNNウェイトの確率的潜在スペースを活用する新しい理論的枠組みを提案し、情報理論的発散測定を使用して最適なネットワークスパースを説明します。
DNNSの新しい類似の投影パターン（AP2）と類似のプロフの投影パターン（AP3）概念を導入し、ネットワーク内のレイヤーのAP3/AP2特性とそのパフォーマンスの間に関係が存在することを証明します。
さらに、圧縮ネットワークのトレーニングプロセスを説明する理論分析を提供します。
理論的結果は、CIFAR10およびCIFAR100データセットを使用して、ALEXNET、RESNET50、VGG16を含む標準の事前訓練を受けたベンチマークで実施された実験を通じて経験的に検証されます。
実験を通じて、AP3およびAP2特性と微調整された剪定DNNおよびスパースレベルとの関係を強調します。

要約(オリジナル)

Despite the impressive performance of deep neural networks (DNNs), their computational complexity and storage space consumption have led to the concept of network compression. While DNN compression techniques such as pruning and low-rank decomposition have been extensively studied, there has been insufficient attention paid to their theoretical explanation. In this paper, we propose a novel theoretical framework that leverages a probabilistic latent space of DNN weights and explains the optimal network sparsity by using the information-theoretic divergence measures. We introduce new analogous projected patterns (AP2) and analogous-in-probability projected patterns (AP3) notions for DNNs and prove that there exists a relationship between AP3/AP2 property of layers in the network and its performance. Further, we provide a theoretical analysis that explains the training process of the compressed network. The theoretical results are empirically validated through experiments conducted on standard pre-trained benchmarks, including AlexNet, ResNet50, and VGG16, using CIFAR10 and CIFAR100 datasets. Through our experiments, we highlight the relationship of AP3 and AP2 properties with fine-tuning pruned DNNs and sparsity levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google