Contrastive Distillation of Emotion Knowledge from LLMs for Zero-Shot Emotion Recognition

要約

専用のトレーニングなしでさまざまな感情ラベルを処理する機能は、適応可能な感情認識（ER）システムを構築するために重要です。
従来のERモデルは、固定されたラベルセットを使用してトレーニングに依存し、それらを超えて一般化するのに苦労しています。
一方、大規模な言語モデル（LLM）は、多様なラベルスペース全体で強力なゼロショットERパフォーマンスを示していますが、スケールはエッジデバイスでの使用を制限しています。
この作業では、人間の注釈を使用せずにLLMSから豊富な感情的知識をコンパクトモデルに転送する対照的な蒸留フレームワークを提案します。
GPT-4を使用して、記述的な感情注釈を生成し、固定ラベルセットを超えて豊富な監督を提供します。
共有された埋め込みスペースに感情記述子を持つテキストサンプルを調整することにより、この方法により、さまざまな感情クラス、粒度、ラベルスキーマのゼロショット予測が可能になります。
蒸留モデルは、複数のデータセットとラベルスペースにわたって有効であり、同様のサイズの強力なベースラインを上回り、GPT-4のゼロショットパフォーマンスに近づき、10,000倍を超えています。

要約(オリジナル)

The ability to handle various emotion labels without dedicated training is crucial for building adaptable Emotion Recognition (ER) systems. Conventional ER models rely on training using fixed label sets and struggle to generalize beyond them. On the other hand, Large Language Models (LLMs) have shown strong zero-shot ER performance across diverse label spaces, but their scale limits their use on edge devices. In this work, we propose a contrastive distillation framework that transfers rich emotional knowledge from LLMs into a compact model without the use of human annotations. We use GPT-4 to generate descriptive emotion annotations, offering rich supervision beyond fixed label sets. By aligning text samples with emotion descriptors in a shared embedding space, our method enables zero-shot prediction on different emotion classes, granularity, and label schema. The distilled model is effective across multiple datasets and label spaces, outperforming strong baselines of similar size and approaching GPT-4’s zero-shot performance, while being over 10,000 times smaller.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google