Compressing neural network by tensor network with exponentially fewer variational parameters

要約

タイトル：指数関数的に少ない変分パラメータを使用したテンソルネットワークによるニューラルネットワークの圧縮

要約：

– 機械学習における複雑なタスクを実行するために設計されたニューラルネットワーク（NN）は一般的に、大量の変分パラメータを含む非常に非線形なマッピングです。
– NNの高い複雑さは、無制限または無制限の場合、過剰適合、一般化能力の喪失、そして耐えがたいハードウェアのコストを予測不能に引き起こす可能性があります。
– 本研究では、多層テンソルネットワーク（TN）に符号化して、NNの変分パラメータを大幅に減らす一般的な圧縮スキームを提案しています。このスキームの圧縮性能は、浅いテンソルネットワークに基づく最先端の方法を超え、いくつかの広く認識されているNN（FC-2、LeNet-5、およびVGG-16）およびデータセット（MNISTおよびCIFAR-10）で示されています。
– たとえば、VGG-16の3つの畳み込み層の約1000万のパラメーターは、たったの632個のパラメーターを持つTNで圧縮され、CIFAR-10でのテスト精度は、圧縮前のNNの81.14％から84.36％に驚くほど改善しています。
– 本研究は、NNの変分パラメータを表現するための非常に効率的な数学的構造としてTNを提示し、シンプルな多次元配列よりも優れた圧縮性能を発揮することを示唆しています。

要約(オリジナル)

Neural network (NN) designed for challenging machine learning tasks is in general a highly nonlinear mapping that contains massive variational parameters. High complexity of NN, if unbounded or unconstrained, might unpredictably cause severe issues including over-fitting, loss of generalization power, and unbearable cost of hardware. In this work, we propose a general compression scheme that significantly reduces the variational parameters of NN by encoding them to multi-layer tensor networks (TN’s) that contain exponentially-fewer free parameters. Superior compression performance of our scheme is demonstrated on several widely-recognized NN’s (FC-2, LeNet-5, and VGG-16) and datasets (MNIST and CIFAR-10), surpassing the state-of-the-art method based on shallow tensor networks. For instance, about 10 million parameters in the three convolutional layers of VGG-16 are compressed in TN’s with just $632$ parameters, while the testing accuracy on CIFAR-10 is surprisingly improved from $81.14\%$ by the original NN to $84.36\%$ after compression. Our work suggests TN as an exceptionally efficient mathematical structure for representing the variational parameters of NN’s, which superiorly exploits the compressibility than the simple multi-way arrays.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI