Effect of Weight Quantization on Learning Models by Typical Case Analysis

要約

このペーパーでは、大規模データ分析モデルで使用される量子化方法とそのハイパーパラメーターの選択について検討します。
最近のデータ分析規模の急増により、必要な計算リソースが大幅に増加しています。
これに対処するために、深層学習などのデータ分析アプリケーションでは、モデルの重みを量子化することが一般的に行われています。
量子化は、計算リソースが限られたデバイスに大規模なモデルを展開する場合に特に重要です。
ただし、重み量子化のビット数や値の範囲などの量子化ハイパーパラメータの選択は、依然として未開発の領域です。
この研究では、統計物理学の典型的なケース分析、特にレプリカ法を使用して、単純な学習モデルの量子化に対するハイパーパラメータの影響を調査します。
私たちの分析により、次の 3 つの重要な発見が得られました。(i) レプリカ対称性の破れとして知られる不安定なハイパーパラメータ段階は、ビット数が少なく量子化幅が大きい場合に発生します。
(ii) 誤差を最小限に抑える最適な量子化幅がある。
(iii) 量子化はオーバーパラメータ化の開始を遅らせ、二重降下現象で示されるオーバーフィッティングの軽減に役立ちます。
また、不均一な量子化によって安定性が向上することも発見しました。
さらに、理論的な結果を検証するために、近似的なメッセージ パッシング アルゴリズムを開発します。

要約(オリジナル)

This paper examines the quantization methods used in large-scale data analysis models and their hyperparameter choices. The recent surge in data analysis scale has significantly increased computational resource requirements. To address this, quantizing model weights has become a prevalent practice in data analysis applications such as deep learning. Quantization is particularly vital for deploying large models on devices with limited computational resources. However, the selection of quantization hyperparameters, like the number of bits and value range for weight quantization, remains an underexplored area. In this study, we employ the typical case analysis from statistical physics, specifically the replica method, to explore the impact of hyperparameters on the quantization of simple learning models. Our analysis yields three key findings: (i) an unstable hyperparameter phase, known as replica symmetry breaking, occurs with a small number of bits and a large quantization width; (ii) there is an optimal quantization width that minimizes error; and (iii) quantization delays the onset of overparameterization, helping to mitigate overfitting as indicated by the double descent phenomenon. We also discover that non-uniform quantization can enhance stability. Additionally, we develop an approximate message-passing algorithm to validate our theoretical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google