DialogueLLM: Context and Emotion Knowledge-Tuned LLaMA Models for Emotion Recognition in Conversations

要約

大規模言語モデル (LLM) とそのバリアントは、多数の下流の自然言語処理 (NLP) タスクにわたって並外れた有効性を示しており、NLP の開発に新しいビジョンを提示しています。
LLM は、自然言語生成 (NLG) における顕著なパフォーマンスにもかかわらず、感情理解領域への明確な焦点を欠いています。
その結果、感情認識に LLM を使用すると、精度が最適化されず、不十分になる可能性があります。
LLM のもう 1 つの制限は、通常、マルチモーダル情報を活用せずにトレーニングされることです。
これらの制限を克服するために、我々は、13,638 個のマルチモーダル (つまり、テキストとビデオ) の感情的な対話を使用して LLaMA モデルを微調整することによって得られる、コンテキストと感情の知識を調整した LLM である DialogueLLM を提案します。
視覚情報は質の高い指導を構築するための補助的な知識と考えられます。
私たちは、3 つのベンチマーク会話中感情認識 (ERC) データセットに基づいて提案したモデルの包括的な評価を提供し、その結果を SOTA ベースラインおよび他の SOTA LLM と比較します。
さらに、DialogueLLM-7B は、40 GB A100 GPU 上の LoRA を使用して 5 時間で簡単にトレーニングでき、他の研究者にとって再現性が容易になります。

要約(オリジナル)

Large language models (LLMs) and their variants have shown extraordinary efficacy across numerous downstream natural language processing (NLP) tasks, which has presented a new vision for the development of NLP. Despite their remarkable performance in natural language generating (NLG), LLMs lack a distinct focus on the emotion understanding domain. As a result, using LLMs for emotion recognition may lead to suboptimal and inadequate precision. Another limitation of LLMs is that they are typical trained without leveraging multi-modal information. To overcome these limitations, we propose DialogueLLM, a context and emotion knowledge tuned LLM that is obtained by fine-tuning LLaMA models with 13,638 multi-modal (i.e., texts and videos) emotional dialogues. The visual information is considered as the supplementary knowledge to construct high-quality instructions. We offer a comprehensive evaluation of our proposed model on three benchmarking emotion recognition in conversations (ERC) datasets and compare the results against the SOTA baselines and other SOTA LLMs. Additionally, DialogueLLM-7B can be easily trained using LoRA on a 40GB A100 GPU in 5 hours, facilitating reproducibility for other researchers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google