Multi-Perspective Stance Detection

要約

主観的な NLP タスクは通常、複数のアノテーターによって提供される人間によるアノテーションに依存しますが、その判断は、多様な背景や人生経験によって異なる場合があります。
従来の手法では、アノテーターの意見の相違から生じる視点の多様性を無視して、複数のアノテーションを 1 つのグラウンド トゥルースに集約することがよくあります。
この予備研究では、分類におけるモデルの精度に複数のアノテーションを含めることの影響を調べます。
私たちの方法論では、スタンス検出タスクにおける視点を意識した分類モデルのパフォーマンスを調査し、アノテーターの不一致がモデルの信頼性に影響を与えるかどうかをさらに検査します。
結果は、複数の視点からのアプローチにより、単一ラベルを使用するベースラインを上回る優れた分類パフォーマンスが得られることを示しています。
これは、より包括的な視点を意識した AI モデルを設計することが、責任ある倫理的な AI を実装する上で不可欠な最初のステップであるだけでなく、従来のアプローチを使用するよりも優れた結果を達成できることを意味します。

要約(オリジナル)

Subjective NLP tasks usually rely on human annotations provided by multiple annotators, whose judgments may vary due to their diverse backgrounds and life experiences. Traditional methods often aggregate multiple annotations into a single ground truth, disregarding the diversity in perspectives that arises from annotator disagreement. In this preliminary study, we examine the effect of including multiple annotations on model accuracy in classification. Our methodology investigates the performance of perspective-aware classification models in stance detection task and further inspects if annotator disagreement affects the model confidence. The results show that multi-perspective approach yields better classification performance outperforming the baseline which uses the single label. This entails that designing more inclusive perspective-aware AI models is not only an essential first step in implementing responsible and ethical AI, but it can also achieve superior results than using the traditional approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google