LLM-based Affective Text Generation Quality Based on Different Quantization Values

要約

大規模な言語モデルは、言語生成と理解に顕著な能力を示します。
これらの進歩により、AIシステムは、より人間のような感情的に魅力的なテキストを生成することができます。
ただし、これらのモデルは多数のパラメーターに依存しており、トレーニングと推論には重要な計算リソースが必要です。
一部のシナリオでは、これらのリソースへのアクセスは困難な場合があります（例：予算やハードウェアの制限）。
精密ビットを減らすなどの手法は、モデルをよりメモリ効率の高いものにし、精度を低下させるコストで必要な計算リソースを削減することができます。
このペーパーでは、感情的なテキスト生成における異なる量子化値、GPU RAMの利用、テキストの品質間のトレードオフに対処します（たとえば、「雪に覆われた森で走るのは本当に好きです」）。
評価するために、感情分類器と10個のシードプロンプトを使用して、感情的なテキストを生成します。
2つの異なるファミリからの5つのオープンウェイト言語モデルで、3つの精密ビット（8、16、および32のセットアップ（8、16、および32）をテストします。
私たちの調査結果は、ビットの削減が記憶の節約につながり、76％の削減を達成することを示しています。
ただし、この最適化にはトレードオフが伴い、より大きなモデルではF1スコアで最大10 ppが減少し、小さなモデルで10 ppが増加し、推論時間の約2倍になります。
テキストの品質に関しては、低量子化レベルのより大きなモデルは、一般に、同様のメモリを必要としながら、より小さな高精度モデルよりも優れています。

要約(オリジナル)

Large language models exhibit a remarkable capacity in language generation and comprehension. These advances enable AI systems to produce more human-like and emotionally engaging text. However, these models rely on a large number of parameters, requiring significant computational resources for training and inference. In some scenarios, accessing these resources can be challenging (e.g., budget or hardware limitations). Techniques like reducing precision bits can make models more memory-efficient, reducing the computational resources needed, at the cost of reduced accuracy. This paper addresses the trade-off between different quantization values, GPU RAM utilization, and text quality in affective text generation (e.g., ‘I really enjoy running in the snow-covered forest’). To evaluate, we use an emotion classifier and ten seed prompts to generate affective text. We test three setups of precision bits (8, 16, and 32) across five open-weight language models from two different families. Our findings demonstrate that bit reductions lead to memory savings, achieving a reduction of 76%. However, this optimization comes with a trade-off, leading to a decrease of up to 10 pp in F1 score for larger models and an increase of 10 pp for smaller models, along with roughly double the inference time. In terms of text quality, larger models at lower quantization levels generally outperform smaller, higher-precision models — while requiring similar memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google