A Decomposition-Based Approach for Evaluating and Analyzing Inter-Annotator Disagreement

要約

既存の注釈を別々のレベルに概念的に分解する新しい方法を提案し、各レベルでのアノテーター間の不一致の分析を個別に可能にします。
このアプローチを実現するために、2つの異なる戦略を提案します。理論的に主導された戦略では、研究者が注釈タスクの事前知識に基づいて分解を定義し、探索に基づいたものを定義します。
ナラティブ分析のために最近構築されたデータセットを使用ケースとして利用して、2つの戦略のそれぞれを適用して、注釈の意見の源に関する仮説のテストにおけるアプローチの可能性を実証し、注釈タスク内の潜在的な構造と関係を明らかにします。
私たちは、私たちのアプローチを拡張し、一般化する方法を提案し、他の目的に使用する方法を提案することで締めくくります。

要約(オリジナル)

We propose a novel method to conceptually decompose an existing annotation into separate levels, allowing the analysis of inter-annotators disagreement in each level separately. We suggest two distinct strategies in order to actualize this approach: a theoretically-driven one, in which the researcher defines a decomposition based on prior knowledge of the annotation task, and an exploration-based one, in which many possible decompositions are inductively computed and presented to the researcher for interpretation and evaluation. Utilizing a recently constructed dataset for narrative analysis as our use-case, we apply each of the two strategies to demonstrate the potential of our approach in testing hypotheses regarding the sources of annotation disagreements, as well as revealing latent structures and relations within the annotation task. We conclude by suggesting how to extend and generalize our approach, as well as use it for other purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google