Toward a Perspectivist Turn in Ground Truthing for Predictive Computing

要約

ほとんどの人工知能アプリケーションは教師あり機械学習 (ML) に基づいており、最終的には手動で注釈が付けられたデータに基づいています。
アノテーション プロセスは多くの場合、多数決に基づいて実行されますが、ML モデルの評価に関する最近の研究で明らかになっているように、これには多くの場合問題があることが証明されています。
この記事では、従来のゴールドスタンダードのデータセットから離れ、ML の知識表現ステップに関与する人間の主体の意見と視点を統合する方法の採用に向けて、データパースペクティビズムと呼ばれる別のパラダイムについて説明および提唱します。
プロセス。
私たちの提案にインスピレーションを与えた以前の研究に基づいて、より主観的なタスク (例: 人間の言語に関連するタスク) だけでなく、一般に客観的であると理解されているタスク (例: 医療上の意思決定) に対する私たちの提案の可能性を説明し、主な利点を示します。
ML でパースペクティビストのスタンスを採用することの可能性とデメリット、およびそのようなスタンスを実際に実装するさまざまな方法について説明します。
最後に、ML におけるパースペクティブなスタンスを推進するための一連の推奨事項を共有し、研究課題の概要を説明します。

要約(オリジナル)

Most Artificial Intelligence applications are based on supervised machine learning (ML), which ultimately grounds on manually annotated data. The annotation process is often performed in terms of a majority vote and this has been proved to be often problematic, as highlighted by recent studies on the evaluation of ML models. In this article we describe and advocate for a different paradigm, which we call data perspectivism, which moves away from traditional gold standard datasets, towards the adoption of methods that integrate the opinions and perspectives of the human subjects involved in the knowledge representation step of ML processes. Drawing on previous works which inspired our proposal we describe the potential of our proposal for not only the more subjective tasks (e.g. those related to human language) but also to tasks commonly understood as objective (e.g. medical decision making), and present the main advantages of adopting a perspectivist stance in ML, as well as possible disadvantages, and various ways in which such a stance can be implemented in practice. Finally, we share a set of recommendations and outline a research agenda to advance the perspectivist stance in ML.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google