Reduced storage direct tensor ring decomposition for convolutional neural networks compression

要約

畳み込みニューラル ネットワーク (CNN) は、画像分類などのコンピューター ビジョン タスクに最も広く使用されている機械学習モデルの 1 つです。
CNN の効率を向上させるために、多くの CNN 圧縮アプローチが開発されています。
低ランクのメソッドは、一連のより小さな畳み込みカーネルを使用して元の畳み込みカーネルを近似するため、ストレージと時間の複雑さが軽減されます。
この研究では、縮小ストレージ直接テンソル リング分解 (RSDTR) に基づく新しい低ランク CNN 圧縮方法を提案します。
提案された方法は、より高い循環モード順列の柔軟性を提供し、圧縮ネットワークの良好な分類精度を維持しながら、大きなパラメーターと FLOPS 圧縮率を特徴とします。
CIFAR-10 および ImageNet データセットに対して実行された実験は、他の最先端の CNN 圧縮アプローチと比較した RSDTR の効率性を明確に示しています。

要約(オリジナル)

Convolutional neural networks (CNNs) are among the most widely used machine learning models for computer vision tasks, such as image classification. To improve the efficiency of CNNs, many CNNs compressing approaches have been developed. Low-rank methods approximate the original convolutional kernel with a sequence of smaller convolutional kernels, which leads to reduced storage and time complexities. In this study, we propose a novel low-rank CNNs compression method that is based on reduced storage direct tensor ring decomposition (RSDTR). The proposed method offers a higher circular mode permutation flexibility, and it is characterized by large parameter and FLOPS compression rates, while preserving a good classification accuracy of the compressed network. The experiments, performed on the CIFAR-10 and ImageNet datasets, clearly demonstrate the efficiency of RSDTR in comparison to other state-of-the-art CNNs compression approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google