Compressing neural network by tensor network with exponentially fewer variational parameters

要約

挑戦的な機械学習タスクのために設計されたニューラルネットワーク（NN）は、一般に、膨大な変分パラメータを含む高度な非線形マッピングである。NNの複雑性が高く、無制限または無制約の場合、オーバーフィット、汎化能力の損失、ハードウェアの耐えがたいコストなどの深刻な問題を予測不可能に引き起こす可能性がある。本研究では、NNの変分パラメータを指数関数的に少ない自由パラメータを含む深い自動微分可能テンソルネットワーク（ADTN）に符号化することにより、NNの変分パラメータを大幅に削減する一般的な圧縮スキームを提案する。本方式の優れた圧縮性能は、広く認知されているいくつかのNN(FC-2, LeNet-5, AlextNet, ZFNet, VGG-16)とデータセット(MNIST, CIFAR-10, CIFAR-100)で実証されている。例えば、約10^{7}$個のパラメータを持つVGG-16の2つの線形層を、わずか424個のパラメータを持つ2つのADTNに圧縮し、CIFAR-10のテスト精度を$90.17 ㎤$から$91.74 ㎤$に向上させた。この結果は、TNがNNの変分パラメータを表現するための非常に効率的な数学構造であることを示唆している。

要約(オリジナル)

Neural network (NN) designed for challenging machine learning tasks is in general a highly nonlinear mapping that contains massive variational parameters. High complexity of NN, if unbounded or unconstrained, might unpredictably cause severe issues including over-fitting, loss of generalization power, and unbearable cost of hardware. In this work, we propose a general compression scheme that significantly reduces the variational parameters of NN by encoding them to deep automatically-differentiable tensor network (ADTN) that contains exponentially-fewer free parameters. Superior compression performance of our scheme is demonstrated on several widely-recognized NN’s (FC-2, LeNet-5, AlextNet, ZFNet and VGG-16) and datasets (MNIST, CIFAR-10 and CIFAR-100). For instance, we compress two linear layers in VGG-16 with approximately $10^{7}$ parameters to two ADTN’s with just 424 parameters, where the testing accuracy on CIFAR-10 is improved from $90.17 \%$ to $91.74\%$. Our work suggests TN as an exceptionally efficient mathematical structure for representing the variational parameters of NN’s, which exhibits superior compressibility over the commonly-used matrices and multi-way arrays.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL