Fearful Falcons and Angry Llamas: Emotion Category Annotations of Arguments by Humans and LLMs

要約

議論は感情を呼び起こし、議論自体の効果に影響を与えます。
感情の激しさだけでなく、カテゴリーも議論の効果に影響を与えます。たとえば、立場を適応させる意欲などです。
二項感情は議論において研究されてきましたが、そのようなデータにおける離散的な感情カテゴリー (例: 「怒り」) についての研究はありません。
このギャップを埋めるために、ドイツ語引数コーパス内の感情カテゴリの主観的な注釈をクラウドソーシングし、LLM ベースの自動ラベル付け方法を評価します。
具体的には、3 つの大規模な命令調整言語モデル (Falcon-7b-instruct、Llama-3.1-8B-instruct、GPT-4o-mini) で 3 つのプロンプト戦略 (ゼロショット、ワンショット、思考連鎖) を比較します。
）。
さらに、出力空間の定義をバイナリ (引数に感情があるか?)、クローズド ドメイン (指定されたラベル セットのどの感情が引数にあるか)、またはオープン ドメイン (どの感情が引数にあるか) に変更します。
口論？）。
感情カテゴリは議論における感情性の予測を強化し、議論における個別の感情の注釈の必要性を強調することがわかりました。
すべてのプロンプト設定とモデルにわたって、自動予測は高い再現率を示しましたが、怒りと恐怖の予測精度は低く、否定的な感情に対する強い偏りを示しています。

要約(オリジナル)

Arguments evoke emotions, influencing the effect of the argument itself. Not only the emotional intensity but also the category influence the argument’s effects, for instance, the willingness to adapt stances. While binary emotionality has been studied in arguments, there is no work on discrete emotion categories (e.g., ‘Anger’) in such data. To fill this gap, we crowdsource subjective annotations of emotion categories in a German argument corpus and evaluate automatic LLM-based labeling methods. Specifically, we compare three prompting strategies (zero-shot, one-shot, chain-of-thought) on three large instruction-tuned language models (Falcon-7b-instruct, Llama-3.1-8B-instruct, GPT-4o-mini). We further vary the definition of the output space to be binary (is there emotionality in the argument?), closed-domain (which emotion from a given label set is in the argument?), or open-domain (which emotion is in the argument?). We find that emotion categories enhance the prediction of emotionality in arguments, emphasizing the need for discrete emotion annotations in arguments. Across all prompt settings and models, automatic predictions show a high recall but low precision for predicting anger and fear, indicating a strong bias toward negative emotions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google