The Binary and Ternary Quantization Can Improve Feature Discrimination

要約

機械学習では、データ表現を簡素化し、ハードウェアへのアルゴリズムの展開を促進するために量子化が広く使用されています。
機械学習における分類の基本的な役割を考えると、分類に対する量子化の影響を調査することが重要です。
現在の研究は主に量子化エラーに焦点を当てており、より高い量子化エラーが一般的に分類性能が低下するという前提で動作します。
しかし、この前提は強固な理論的基盤を欠いており、しばしば経験的な発見と矛盾しています。
たとえば、$ \ {0,1 \} $ – バイナリ量子化や$ \ {0、\ PM1 \} $ $ -RERNARY量子化などの特定の非常に低いビット幅の量子化方法は、高量化エラーを示しているにもかかわらず、元の非定量データと比較して、元の非定量データと比較して同等または優れた分類精度を達成できます。
分類パフォーマンスをより正確に評価するために、量子化エラーを分析する代わりに、量子化されたデータの特徴識別を直接調査することを提案します。
興味深いことに、バイナリと三元の量子化法の両方が、元のデータの特徴識別を劣化するのではなく、改善できることがわかっています。
この顕著なパフォーマンスは、画像、音声、テキストなど、さまざまなデータ型にわたる分類実験を通じて検証されます。

要約(オリジナル)

In machine learning, quantization is widely used to simplify data representation and facilitate algorithm deployment on hardware. Given the fundamental role of classification in machine learning, it is crucial to investigate the impact of quantization on classification. Current research primarily focuses on quantization errors, operating under the premise that higher quantization errors generally result in lower classification performance. However, this premise lacks a solid theoretical foundation and often contradicts empirical findings. For instance, certain extremely low bit-width quantization methods, such as $\{0,1\}$-binary quantization and $\{0, \pm1\}$-ternary quantization, can achieve comparable or even superior classification accuracy compared to the original non-quantized data, despite exhibiting high quantization errors. To more accurately evaluate classification performance, we propose to directly investigate the feature discrimination of quantized data, instead of analyzing its quantization error. Interestingly, it is found that both binary and ternary quantization methods can improve, rather than degrade, the feature discrimination of the original data. This remarkable performance is validated through classification experiments across various data types, including images, speech, and texts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google