Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners

要約

大規模言語モデル (LLM) は、優れたパフォーマンスと堅牢な演繹機能を備えていますが、その巨大なサイズにより展開が複雑になり、大量のリソース消費により環境上の懸念が生じます。
学習可能な特異値インクリメント (LSI) として知られる量子化技術の最近の開発により、これらの量子化の課題のいくつかが解決されました。
LSI と広範な研究からの洞察を活用して、特に低ビット設定で量子化 LLM のパフォーマンスを向上させる革新的な方法を開発しました。
私たちの手法は、さまざまな量子化シナリオにわたって一貫して最先端の結果を提供し、量子化プロセスに対する深い理論的洞察を提供し、広範な適用のための量子化モデルの可能性を解明します。

要約(オリジナル)

Large Language Models (LLMs) showcase remarkable performance and robust deductive capabilities, yet their expansive size complicates deployment and raises environmental concerns due to substantial resource consumption. The recent development of a quantization technique known as Learnable Singular-value Increment (LSI) has addressed some of these quantization challenges. Leveraging insights from LSI and our extensive research, we have developed innovative methods that enhance the performance of quantized LLMs, particularly in low-bit settings. Our methods consistently deliver state-of-the-art results across various quantization scenarios and offer deep theoretical insights into the quantization process, elucidating the potential of quantized models for widespread application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google