Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench

要約

ラージ・ランゲージ・モデル（LLM）の擬人化能力を評価することは、現代の言説においてますます重要になってきている。心理学の感情評価理論を活用し、LLMの共感能力、すなわち特定の状況を提示されたときに感情がどのように変化するかを評価することを提案する。慎重かつ包括的な調査の後、本研究の中心となる8つの感情を引き出すのに効果的であることが証明された400以上の状況を含むデータセットを収集する。これらの状況を36の要素に分類し、世界中の1,200人以上の被験者を対象とした人間評価を実施した。人間による評価結果を参考に、我々の評価には、GPT-4やLLaMA-2といった最新の反復モデルを含む、商用モデルとオープンソースモデルの両方をカバーする5つのLLMが含まれる。我々は、いくつかの不整合にもかかわらず、LLMが特定の状況に対して概して適切に対応できることを発見した。とはいえ、人間の感情的行動との整合性には欠けており、類似した状況間のつながりを確立することはできない。我々が収集した状況のデータセット、人間による評価結果、そしてEmotionBenchと名付けられたテストフレームワークのコードは、https://github.com/CUHK-ARISE/EmotionBench。我々は、LLMが人間の感情的行動によりよく適合することで、知的アシスタントとしての実用性と応用性を向上させることに貢献したいと考えている。

要約(オリジナル)

Evaluating Large Language Models’ (LLMs) anthropomorphic capabilities has become increasingly important in contemporary discourse. Utilizing the emotion appraisal theory from psychology, we propose to evaluate the empathy ability of LLMs, i.e., how their feelings change when presented with specific situations. After a careful and comprehensive survey, we collect a dataset containing over 400 situations that have proven effective in eliciting the eight emotions central to our study. Categorizing the situations into 36 factors, we conduct a human evaluation involving more than 1,200 subjects worldwide. With the human evaluation results as references, our evaluation includes five LLMs, covering both commercial and open-source models, including variations in model sizes, featuring the latest iterations, such as GPT-4 and LLaMA-2. We find that, despite several misalignments, LLMs can generally respond appropriately to certain situations. Nevertheless, they fall short in alignment with the emotional behaviors of human beings and cannot establish connections between similar situations. Our collected dataset of situations, the human evaluation results, and the code of our testing framework, dubbed EmotionBench, is made openly accessible via https://github.com/CUHK-ARISE/EmotionBench. We aspire to contribute to the advancement of LLMs regarding better alignment with the emotional behaviors of human beings, thereby enhancing their utility and applicability as intelligent assistants.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL