Distilling Fine-grained Sentiment Understanding from Large Language Models

要約

きめ細かい感情分析 (FSA) は、膨大な意見のあるテキストからユーザーの意見を抽出して要約することを目的としています。
最近の研究では、大規模言語モデル (LLM) が優れた感情理解能力を備えていることが実証されています。
ただし、FSA アプリケーションに LLM を直接展開すると、高い推論コストが発生します。
したがって、この論文では、LLM から小言語モデル (SLM) へのきめ細かい感情理解を蒸留する方法を調査します。
LLM に対して、与えられたレビューの感情を調べて解釈するよう促し、生成されたコンテンツを利用して SLM を事前トレーニングします。
さらに、SLM と LLM の両方を評価するための包括的な FSA ベンチマークを開発します。
このベンチマークに関する広範な実験により、(1) 蒸留により FSA タスクにおける SLM のパフォーマンスが大幅に向上し、$F_1$ スコアで 6.00\% の向上が達成され、蒸留されたモデルはわずか 2 億 2000 万のパラメーターで Llama-2-7b を上回るパフォーマンスを発揮できることが明らかになりました。
;
(2) 蒸留により、SLM は優れたゼロショット感情分類機能を備え、教師モデルと同等、またはそれを超えることができます。
これらの結果は、LLM からの蒸留が FSA にとって非常に有望な方向であることを示唆しています。
コード、データ、事前トレーニング済みモデルの重みは \url{https://github.com/HITSZ-HLT/FSA-Distillation} でリリースされます。

要約(オリジナル)

Fine-grained sentiment analysis (FSA) aims to extract and summarize user opinions from vast opinionated text. Recent studies demonstrate that large language models (LLMs) possess exceptional sentiment understanding capabilities. However, directly deploying LLMs for FSA applications incurs high inference costs. Therefore, this paper investigates the distillation of fine-grained sentiment understanding from LLMs into small language models (SLMs). We prompt LLMs to examine and interpret the sentiments of given reviews and then utilize the generated content to pretrain SLMs. Additionally, we develop a comprehensive FSA benchmark to evaluate both SLMs and LLMs. Extensive experiments on this benchmark reveal that: (1) distillation significantly enhances the performance of SLMs in FSA tasks, achieving a 6.00\% improvement in $F_1$-score, and the distilled model can outperform Llama-2-7b with only 220M parameters; (2) distillation equips SLMs with excellent zero-shot sentiment classification capabilities, enabling them to match or even exceed their teacher models. These results suggest that distillation from LLMs is a highly promising direction for FSA. We will release our code, data, and pretrained model weights at \url{https://github.com/HITSZ-HLT/FSA-Distillation}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google