Subjective Logic Encodings

要約

ラベル付きデータから学習するための多くの既存のアプローチは、金標準のラベルの存在を想定しています。
これらのアプローチによれば、注釈ガイドラインの改良、ラベルの裁定、またはラベルフィルタリングのいずれかを通じて、アノテーター間の意見の不一致は削除されるノイズと見なされます。
ただし、特に意見の相違が自然な場合のセンチメント分析やヘイトスピーチ検出などのより主観的なタスクでは、アノテーターの意見の不一致が完全に根絶されることはめったにありません。
したがって、データの視点と呼ばれるラベル付けされたデータから学習するための新しいアプローチは、アノテーター間の意見の不一致を活用して、注釈をゴールドスタンダードの事実ではなく、アノテーターの意見として扱うことにより、タスクの固有の不確実性に忠実であるモデルを学習しようとしています。
この概念的根拠にもかかわらず、データの視点の下での既存の方法は、注釈の不確実性の唯一のソースとして意見の相違を使用することに限定されています。
データの視点の可能性を拡大するために、注釈を明示的にアノテーターの意見として明示的にエンコードする分類ターゲットを構築するための柔軟なフレームワークである主観的ロジックエンコーディング（SLE）を紹介します。
主観的論理理論に基づいて、SLESはラベルをDirichlet分布としてエンコードし、さまざまなタイプの注釈の不確実性（注釈の信頼性、信頼性、意見の不一致）をターゲットにエンコードして集約するための原則的な方法を提供します。
SLEは、他のタイプのラベルエンコーディングの一般化と、分布マッチング目標を使用してSLESを予測するモデルを推定する方法であることを示します。

要約(オリジナル)

Many existing approaches for learning from labeled data assume the existence of gold-standard labels. According to these approaches, inter-annotator disagreement is seen as noise to be removed, either through refinement of annotation guidelines, label adjudication, or label filtering. However, annotator disagreement can rarely be totally eradicated, especially on more subjective tasks such as sentiment analysis or hate speech detection where disagreement is natural. Therefore, a new approach to learning from labeled data, called data perspectivism, seeks to leverage inter-annotator disagreement to learn models that stay true to the inherent uncertainty of the task by treating annotations as opinions of the annotators, rather than gold-standard facts. Despite this conceptual grounding, existing methods under data perspectivism are limited to using disagreement as the sole source of annotation uncertainty. To expand the possibilities of data perspectivism, we introduce Subjective Logic Encodings (SLEs), a flexible framework for constructing classification targets that explicitly encodes annotations as opinions of the annotators. Based on Subjective Logic Theory, SLEs encode labels as Dirichlet distributions and provide principled methods for encoding and aggregating various types of annotation uncertainty — annotator confidence, reliability, and disagreement — into the targets. We show that SLEs are a generalization of other types of label encodings as well as how to estimate models to predict SLEs using a distribution matching objective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google