Is GPT a Computational Model of Emotion? Detailed Analysis

要約

この論文では、コンポーネントの観点から、大規模言語モデルの GPT ファミリの感情的推論能力を調査します。
この論文ではまず、モデルが自伝的記憶についてどのように推論するかを検証します。
第二に、感情の強さと対処傾向に影響を与えるために、状況の側面を体系的に変化させます。
プロンプトエンジニアリングを使用しなくても、GPT の予測は人間が提供する評価や感情的なラベルと大幅に一致することが示されています。
しかし、GPT は感情の強さを予測し、反応​​に対処することが困難に直面しています。
GPT-4 は、最初の研究では最高のパフォーマンスを示しましたが、マイナーなプロンプトエンジニアリングの後に優れた結果をもたらしたにもかかわらず、2 番目の研究では及ばなかった。
この評価では、これらのモデルの長所を効果的に活用し、特に応答のばらつきに関する弱点に対処する方法についての疑問が生じます。
これらの研究は、コンポーネントの観点からモデルを評価するメリットを強調しています。

要約(オリジナル)

This paper investigates the emotional reasoning abilities of the GPT family of large language models via a component perspective. The paper first examines how the model reasons about autobiographical memories. Second, it systematically varies aspects of situations to impact emotion intensity and coping tendencies. Even without the use of prompt engineering, it is shown that GPT’s predictions align significantly with human-provided appraisals and emotional labels. However, GPT faces difficulties predicting emotion intensity and coping responses. GPT-4 showed the highest performance in the initial study but fell short in the second, despite providing superior results after minor prompt engineering. This assessment brings up questions on how to effectively employ the strong points and address the weak areas of these models, particularly concerning response variability. These studies underscore the merits of evaluating models from a componential perspective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google