iLab at SemEval-2023 Task 11 Le-Wi-Di: Modelling Disagreement or Modelling Perspectives?

要約

【タイトル】
SemEval-2023 Task 11 Le-Wi-DiにおけるiLab：意見の争いをモデリングするのか、視点をモデリングするのか？

【要約】
-注釈者の意見に関するモデリングには、2つの競合するアプローチがある。
-Distributional soft-labellingアプローチ（意見のレベルを把握することを目的とする）と、個々の注釈者またはグループの視点をモデリングするアプローチ。
-我々は、以前に視点のモデリングで成功を収めたマルチタスクアーキテクチャを適応し、SEMEVAL Task 11でそのパフォーマンスを評価する。
-我々は、両方のアプローチを組み合わせることで、個々の注釈者の視点を予測することを中間ステップとして、注釈者の意見の争いを予測する。
-以前の成功にもかかわらず、データに異なる注釈者の意見がある場合、マルチタスクアプローチはパフォーマンスが低いことがわかった。これは、視点をモデリングする場合には、このアプローチが常に適切でないことを示唆している。
-さらに、我々の結果は、強く視点主義的なアプローチが、分布アプローチによって使用される評価指標による状態の芸術性を達成しないかもしれないが、我々のアプローチはデータに存在する個々の視点のより微妙な理解を可能にすることを説明する。
-我々は、少数派の意見を強調するための意思決定者の支援を可能にするために、視点主義的なアプローチが好ましいと主張し、この目標を反映するために評価指標を再評価することが重要であると考えている。

要約(オリジナル)

There are two competing approaches for modelling annotator disagreement: distributional soft-labelling approaches (which aim to capture the level of disagreement) or modelling perspectives of individual annotators or groups thereof. We adapt a multi-task architecture — which has previously shown success in modelling perspectives — to evaluate its performance on the SEMEVAL Task 11. We do so by combining both approaches, i.e. predicting individual annotator perspectives as an interim step towards predicting annotator disagreement. Despite its previous success, we found that a multi-task approach performed poorly on datasets which contained distinct annotator opinions, suggesting that this approach may not always be suitable when modelling perspectives. Furthermore, our results explain that while strongly perspectivist approaches might not achieve state-of-the-art performance according to evaluation metrics used by distributional approaches, our approach allows for a more nuanced understanding of individual perspectives present in the data. We argue that perspectivist approaches are preferable because they enable decision makers to amplify minority views, and that it is important to re-evaluate metrics to reflect this goal.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI