Architectural Sweet Spots for Modeling Human Label Variation by the Example of Argument Quality: It’s Best to Relate Perspectives!

要約

自然言語処理における多くのアノテーション タスクは、特定の例に対する適切なラベルが何かについて、さまざまな有効かつ正当な観点が存在する可能性があるため、非常に主観的です。
これは、議論の質の判断にも当てはまります。そこでは、単一の根拠となる真実の割り当てにはしばしば疑問が生じます。
同時に、議論の背後には、共通の根拠を形成する一般的に受け入れられている概念があります。
個人の視点と共有された視点の相互作用を最もよく表現するために、視点を多数派のラベルに完全に集約するモデルから、各アノテーターが他のすべてのアノテーターから切り離されて考慮される「何も共有しない」アーキテクチャに至る一連のアプローチを検討します。
これらの両極端の間で、レコメンダー システムの分野で使用されるモデルからインスピレーションを得て、異なるアノテーター間の関係をモデル化するレイヤーを含むアーキテクチャが、単一アノテーターのラベルを予測するのにどの程度有益であるかを調査します。
議論の質を分類する 2 つのタスク (議論の具体性と結論の妥当性/新規性) によって、レコメンダー アーキテクチャはアノテーター個人の平均 F$_1$ スコアを多数派ラベル モデルと比較して最大 $43\%$ まで増加させることを示します。
私たちの調査結果は、主観性へのアプローチは、個人の視点を関連付けることで利益を得ることができることを示しています。

要約(オリジナル)

Many annotation tasks in natural language processing are highly subjective in that there can be different valid and justified perspectives on what is a proper label for a given example. This also applies to the judgment of argument quality, where the assignment of a single ground truth is often questionable. At the same time, there are generally accepted concepts behind argumentation that form a common ground. To best represent the interplay of individual and shared perspectives, we consider a continuum of approaches ranging from models that fully aggregate perspectives into a majority label to ‘share nothing’-architectures in which each annotator is considered in isolation from all other annotators. In between these extremes, inspired by models used in the field of recommender systems, we investigate the extent to which architectures that include layers to model the relations between different annotators are beneficial for predicting single-annotator labels. By means of two tasks of argument quality classification (argument concreteness and validity/novelty of conclusions), we show that recommender architectures increase the averaged annotator-individual F$_1$-scores up to $43\%$ over a majority label model. Our findings indicate that approaches to subjectivity can benefit from relating individual perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google