Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression

要約

高容量の大規模言語モデル（Large Language Models: LLM）を圧縮することは、リソース効率の高い推論を行うための戦略として注目されている。最新の（SoTA）圧縮手法は、良心的なタスク性能を維持する上で目覚ましい進歩を誇っているが、安全性と信頼性の観点から圧縮の潜在的なリスクはほとんど無視されてきた。本研究では、5つのSoTA圧縮手法を用いた3つの主要なLLMを、8つの信頼性次元にわたって初めて徹底的に評価した。我々の実験は、圧縮と信頼性の間の複雑な相互作用を浮き彫りにし、いくつかの興味深いパターンを明らかにした。効率と信頼性を同時に達成するためには、現在のところ、量子化がプルーニングよりも効果的なアプローチであることがわかった。例えば、4ビットの量子化モデルは、元のモデルの信頼性を保持するが、モデルの刈り込みは、50％のスパース性であっても、信頼性を著しく劣化させる。さらに、適度なビット範囲内で量子化を行うことで、倫理性や公平性といった特定の信頼性の次元が予想外に向上する可能性がある。逆に、非常に低いビットレベル（3ビット）への極端な量子化は、信頼性を著しく低下させる傾向がある。このリスクの増大は、良心的なパフォーマンスだけを見ていては発見できず、ひいては実践における包括的な信頼性評価を義務付けることになる。これらの発見は、LLMにおいて高い実用性、効率性、信頼性を同時に達成するための実用的な勧告に結実している。コードとモデルはhttps://decoding-comp-trust.github.io。

要約(オリジナル)

Compressing high-capability Large Language Models (LLMs) has emerged as a favored strategy for resource-efficient inferences. While state-of-the-art (SoTA) compression methods boast impressive advancements in preserving benign task performance, the potential risks of compression in terms of safety and trustworthiness have been largely neglected. This study conducts the first, thorough evaluation of three (3) leading LLMs using five (5) SoTA compression techniques across eight (8) trustworthiness dimensions. Our experiments highlight the intricate interplay between compression and trustworthiness, revealing some interesting patterns. We find that quantization is currently a more effective approach than pruning in achieving efficiency and trustworthiness simultaneously. For instance, a 4-bit quantized model retains the trustworthiness of its original counterpart, but model pruning significantly degrades trustworthiness, even at 50% sparsity. Moreover, employing quantization within a moderate bit range could unexpectedly improve certain trustworthiness dimensions such as ethics and fairness. Conversely, extreme quantization to very low bit levels (3 bits) tends to reduce trustworthiness significantly. This increased risk cannot be uncovered by looking at benign performance alone, in turn, mandating comprehensive trustworthiness evaluation in practice. These findings culminate in practical recommendations for simultaneously achieving high utility, efficiency, and trustworthiness in LLMs. Code and models are available at https://decoding-comp-trust.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL