Inter-Annotator Agreement in the Wild: Uncovering Its Emerging Roles and Considerations in Real-World Scenarios

要約

アノテーター間合意 (IAA) は、自然言語処理タスクにおけるラベルの一貫性の尺度として一般的に使用されます。
ただし、現実のシナリオでは、IAA には従来の使用法を超えたさまざまな役割と影響があります。
このホワイトペーパーでは、IAA を一貫性の尺度としてだけでなく、実際のアプリケーションで効果的に利用できる多用途のツールとしても検討します。
さらに、IAA を適用する際のさまざまな考慮事項や潜在的な懸念事項について説明し、これらの課題を効果的に回避するための戦略を提案します。

要約(オリジナル)

Inter-Annotator Agreement (IAA) is commonly used as a measure of label consistency in natural language processing tasks. However, in real-world scenarios, IAA has various roles and implications beyond its traditional usage. In this paper, we not only consider IAA as a measure of consistency but also as a versatile tool that can be effectively utilized in practical applications. Moreover, we discuss various considerations and potential concerns when applying IAA and suggest strategies for effectively navigating these challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google