The Majority Vote Paradigm Shift: When Popular Meets Optimal

要約

通常、データのラベル付けには、複数の人間の労働者からの注釈が必要です。
しかし、人間は完璧ではありません。
したがって、複数のアノテーターから収集されたラベルを集約して、真のラベルをより自信を持って推定することは一般的な慣行です。
多くの集約方法の中で、シンプルでよく知られている多数決（MV）は、最も多くの投票数を投票するクラスラベルを選択します。
しかし、その重要性にもかかわらず、MVのラベル集約の最適性は広く研究されていません。
MVがラベル推定誤差で理論的に最適な下限を達成する条件を特徴付けることにより、私たちの仕事のこのギャップに対処します。
私たちの結果は、MVが特定のクラス分布のラベルを最適に回復できる注釈ノイズの許容限界を捉えています。
この最適性証明書は、より高い専門家、ゴールドラベルなどを含む場合によっては、非常に多くの人間の不確実性と金銭的コストにもかかわらず、より高い専門家、ゴールドラベルなどを含む場合によっては、ラベル集約のモデル選択に対するより原則的なアプローチを提供します。
合成と現実世界の両方のデータに関する実験は、私たちの理論的発見を裏付けています。

要約(オリジナル)

Reliably labelling data typically requires annotations from multiple human workers. However, humans are far from being perfect. Hence, it is a common practice to aggregate labels gathered from multiple annotators to make a more confident estimate of the true label. Among many aggregation methods, the simple and well known Majority Vote (MV) selects the class label polling the highest number of votes. However, despite its importance, the optimality of MV’s label aggregation has not been extensively studied. We address this gap in our work by characterising the conditions under which MV achieves the theoretically optimal lower bound on label estimation error. Our results capture the tolerable limits on annotation noise under which MV can optimally recover labels for a given class distribution. This certificate of optimality provides a more principled approach to model selection for label aggregation as an alternative to otherwise inefficient practices that sometimes include higher experts, gold labels, etc., that are all marred by the same human uncertainty despite huge time and monetary costs. Experiments on both synthetic and real world data corroborate our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google