Fearful Falcons and Angry Llamas: Emotion Category Annotations of Arguments by Humans and LLMs

要約

議論は感情を呼び起こし、議論自体の効果に影響を与えます。
感情的な強さだけでなく、カテゴリも議論の影響に影響を与えます。たとえば、スタンスを適応させる意欲です。
バイナリ感情は議論で研究されていますが、そのようなデータには、個別の感情カテゴリ（「怒り」など）に関する研究はありません。
このギャップを埋めるために、ドイツの議論コーパスの感情カテゴリの主観的な注釈をクラウドソーシングし、自動LLMベースのラベル付け方法を評価します。
具体的には、3つの大規模な命令チューニング言語モデル（Falcon-7B-Instruct、llama-3.1-8b-instruct、gpt-4o-mini）で、3つのプロンプト戦略（ゼロショット、ワンショット、チェーンのチェーン）を比較します。
さらに、出力空間の定義は、バイナリ（議論に感情がありますか？）、閉じたドメイン（特定のラベルセットからの感情が議論にありますか？）、またはオープンドメイン（どの感情が議論にありますか？）を変えます。
感情のカテゴリは、議論における感情の予測を強化し、議論における個別の感情注釈の必要性を強調することがわかります。
すべての迅速な設定とモデルにわたって、自動予測は、怒りと恐怖を予測するための高いリコールですが、低い精度を示し、否定的な感情に対する強いバイアスを示しています。

要約(オリジナル)

Arguments evoke emotions, influencing the effect of the argument itself. Not only the emotional intensity but also the category influence the argument’s effects, for instance, the willingness to adapt stances. While binary emotionality has been studied in arguments, there is no work on discrete emotion categories (e.g., ‘Anger’) in such data. To fill this gap, we crowdsource subjective annotations of emotion categories in a German argument corpus and evaluate automatic LLM-based labeling methods. Specifically, we compare three prompting strategies (zero-shot, one-shot, chain-of-thought) on three large instruction-tuned language models (Falcon-7b-instruct, Llama-3.1-8B-instruct, GPT-4o-mini). We further vary the definition of the output space to be binary (is there emotionality in the argument?), closed-domain (which emotion from a given label set is in the argument?), or open-domain (which emotion is in the argument?). We find that emotion categories enhance the prediction of emotionality in arguments, emphasizing the need for discrete emotion annotations in arguments. Across all prompt settings and models, automatic predictions show a high recall but low precision for predicting anger and fear, indicating a strong bias toward negative emotions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google