Dynamic Sparse Training via Balancing the Exploration-Exploitation Trade-off

要約

タイトル：探索と活用のトレードオフをバランスさせることによる動的スパーストレーニング

要約：
– 深層ニューラルネットワーク（DNNs）の過剰パラメータ化は、多くのアプリケーションで高い予測精度を示しています。
– しかし、多数のパラメータはリソースが限られたデバイスでは人気が出ず、環境への影響が大きくなります。
– スパーストレーニング（各イテレーションで非ゼロの重みの固定数を使用すること）は、モデルサイズを減らすことによってトレーニングコストを著しく軽減できます。
– しかし、既存のスパーストレーニング方法は、主にランダムベースまたは貪欲ベースのドロップアンドグロー戦略を使用しており、ローカルミニマムと低い精度をもたらします。
– この論文では、動的スパーストレーニングをスパース接続性の探索問題として扱い、探索と活用の収集関数を設計して、ローカルオプティマやサドルポイントから脱出できるようにします。
– さらに、提案手法のための獲得関数を設計し、その収束特性を明確にし、理論的な保証を提供します。
– 実験的結果は、大幅な継続的なスパース化（最大98％）によって得られたスパースモデルが、多様な深層学習タスクでSOTAスパーストレーニング方法を上回ることを示しています。詳しくは、VGG-19 / CIFAR-100、ResNet-50 / CIFAR-10、ResNet-50 / CIFAR-100の各モデルにおいて、提案手法が密なモデルよりも高い精度を持っていることが明らかになっている。ImageNet / ResNet-50の場合、提案手法はSOTAスパーストレーニング方法に比べて最大8.2％の精度向上を示した。

要約(オリジナル)

Over-parameterization of deep neural networks (DNNs) has shown high prediction accuracy for many applications. Although effective, the large number of parameters hinders its popularity on resource-limited devices and has an outsize environmental impact. Sparse training (using a fixed number of nonzero weights in each iteration) could significantly mitigate the training costs by reducing the model size. However, existing sparse training methods mainly use either random-based or greedy-based drop-and-grow strategies, resulting in local minimal and low accuracy. In this work, we consider the dynamic sparse training as a sparse connectivity search problem and design an exploitation and exploration acquisition function to escape from local optima and saddle points. We further design an acquisition function and provide the theoretical guarantees for the proposed method and clarify its convergence property. Experimental results show that sparse models (up to 98\% sparsity) obtained by our proposed method outperform the SOTA sparse training methods on a wide variety of deep learning tasks. On VGG-19 / CIFAR-100, ResNet-50 / CIFAR-10, ResNet-50 / CIFAR-100, our method has even higher accuracy than dense models. On ResNet-50 / ImageNet, the proposed method has up to 8.2\% accuracy improvement compared to SOTA sparse training methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI