Probabilistic Weight Fixing: Large-scale training of neural network weight uncertainties for quantization

要約

重み共有量子化は、重みを限られた値のセットに制限することで、大規模なニューラル ネットワークでの推論中のエネルギー消費を削減する手法として登場しました。
ただし、重み共有量子化の既存の方法では、重みの位置が果たす固有の役割を無視して、値のみに基づいて重みの処理について仮定を行うことがよくあります。
この論文では、ベイジアン ニューラル ネットワーク (BNN) と変分緩和に基づく確率的フレームワークを提案し、個々の位置固有の学習された不確実性分布に基づいて、どの重みをどのクラスター中心にどの程度移動できるかを特定します。
新しい初期化設定と正則化項を導入し、複雑なデータセットとモデルの組み合わせの下で BNN のトレーニングを可能にします。
確率分布を通じて取得された重み値の柔軟性を活用することで、ノイズ耐性と下流の圧縮性が強化されます。
当社の反復クラスタリング手順は、ResNet モデルとより複雑なトランスフォーマーベースのアーキテクチャの両方で、最先端の方法と比較して優れた圧縮性と高い精度を示します。
特に、私たちの手法は、DeiT-Tiny を使用した ImageNet 上で最先端の量子化手法のトップ 1 精度を 1.6% 上回っており、その 500 万以上の重みがわずか 296 個の一意の値で表現されています。

要約(オリジナル)

Weight-sharing quantization has emerged as a technique to reduce energy expenditure during inference in large neural networks by constraining their weights to a limited set of values. However, existing methods for weight-sharing quantization often make assumptions about the treatment of weights based on value alone that neglect the unique role weight position plays. This paper proposes a probabilistic framework based on Bayesian neural networks (BNNs) and a variational relaxation to identify which weights can be moved to which cluster centre and to what degree based on their individual position-specific learned uncertainty distributions. We introduce a new initialisation setting and a regularisation term which allow for the training of BNNs under complex dataset-model combinations. By leveraging the flexibility of weight values captured through a probability distribution, we enhance noise resilience and downstream compressibility. Our iterative clustering procedure demonstrates superior compressibility and higher accuracy compared to state-of-the-art methods on both ResNet models and the more complex transformer-based architectures. In particular, our method outperforms the state-of-the-art quantization method top-1 accuracy by 1.6% on ImageNet using DeiT-Tiny, with its 5 million+ weights now represented by only 296 unique values.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google