Design Choices for Crowdsourcing Implicit Discourse Relations: Revealing the Biases Introduced by Task Design

要約

タイトル：クラウドソーシングにおける暗黙の論述関係の設計選択肢：タスク設計によって導入されるバイアスの明らかに

要約：
-自然言語注釈における不一致は、注釈者と注釈フレームワークによって導入されるバイアスの観点から主に研究されてきました。
-本研究では、クラウドソーシングされた言語学的注釈に特に強い影響を与えるタスク設計バイアスという別のバイアスの分析を提案します。これは、レイマンの注釈者の解釈を引き出すために自然言語が使用されるタスクである暗黙の論述関係注釈を見ます。
-この目的のために、異なる注釈タスクで得られた1,200の論述関係の注釈を比較し、両方の方法のバイアスを4つの異なる領域で量子化します。
-両方の方法は、クラウドソーシングのために設計された自然言語注釈タスクです。
-タスク設計は注釈者を特定の関係に引きつけることができ、ある種の論述関係感は、片方または他の注釈アプローチでよりよく引き出すことができることを示しました。
-また、このタイプのバイアスはモデルのトレーニングとテスト時に考慮すべきであると結論づけています。

要約(オリジナル)

Disagreement in natural language annotation has mostly been studied from a perspective of biases introduced by the annotators and the annotation frameworks. Here, we propose to analyze another source of bias: task design bias, which has a particularly strong impact on crowdsourced linguistic annotations where natural language is used to elicit the interpretation of laymen annotators. For this purpose we look at implicit discourse relation annotation, a task that has repeatedly been shown to be difficult due to the relations’ ambiguity. We compare the annotations of 1,200 discourse relations obtained using two distinct annotation tasks and quantify the biases of both methods across four different domains. Both methods are natural language annotation tasks designed for crowdsourcing. We show that the task design can push annotators towards certain relations and that some discourse relations senses can be better elicited with one or the other annotation approach. We also conclude that this type of bias should be taken into account when training and testing models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI