BINGO: A Novel Pruning Mechanism to Reduce the Size of Neural Networks

要約

過去10年間で、機械学習の使用は指数関数的に増加しています。
モデルはこれまで以上に複雑であり、巨大なサイズに成長し、何百万ものウェイトを収容しています。
残念ながら、大規模なモデルが最先端になっているという事実は、それらを訓練して運営するのに数百万ドルの費用がかかることを意味します。
これらの費用は、企業を傷つけるだけでなく、非裕福な個人が新しい開発に貢献し、消費者にAIのより高い価格を支払わせることを禁止しています。
反復的な大きさの剪定などのモデルを剪定するために使用される現在の方法では、非常に正確さを示していますが、非常に計算的および環境的に課税する反復トレーニングシーケンスが必要です。
この問題を解決するために、ビンゴが導入されます。
Bingoは、トレーニングパス中に、ニューラルネットワークの特定のサブセットを一度に1つずつ研究し、各体重がネットワークの正確性に貢献する上でどの程度重要な役割を果たすかを評価します。
トレーニングが完了するまでに、ビンゴは各重量の有意なスコアを生成し、重要でないウェイトを1ショットで剪定することができます。
Bingoは、現在の方法よりも計算的に集中的ではない精度を保存する剪定技術を提供し、AIの成長がモデルの成長を意味する必要がない世界を可能にします。

要約(オリジナル)

Over the past decade, the use of machine learning has increased exponentially. Models are far more complex than ever before, growing to gargantuan sizes and housing millions of weights. Unfortunately, the fact that large models have become the state of the art means that it often costs millions of dollars to train and operate them. These expenses not only hurt companies but also bar non-wealthy individuals from contributing to new developments and force consumers to pay greater prices for AI. Current methods used to prune models, such as iterative magnitude pruning, have shown great accuracy but require an iterative training sequence that is incredibly computationally and environmentally taxing. To solve this problem, BINGO is introduced. BINGO, during the training pass, studies specific subsets of a neural network one at a time to gauge how significant of a role each weight plays in contributing to a network’s accuracy. By the time training is done, BINGO generates a significance score for each weight, allowing for insignificant weights to be pruned in one shot. BINGO provides an accuracy-preserving pruning technique that is less computationally intensive than current methods, allowing for a world where AI growth does not have to mean model growth, as well.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google