The Challenges of Machine Learning for Trust and Safety: A Case Study on Misinformation Detection

要約

私たちは、ケーススタディとして誤った情報の検出を使用して、機械学習を信頼と安全の問題に適用する際の学問と実践の間の断絶を調査します。
私たちは、この分野でよく引用されている 270 件の論文のコーパス全体にわたって、誤った情報の自動検出に関する文献を体系化しています。
次に、論文のサブセットを調べて、データとコードの可用性、設計上の誤り、再現性、一般化可能性を調べます。
私たちの論文コーパスには、セキュリティ、自然言語処理、計算社会科学に関する出版物が含まれています。
これらの異なる分野にわたって、データセットとメソッドの設計における一般的なエラーを特定します。
一般に、検出タスクは、オンライン サービスが実際に直面する課題とは大きく区別されることがよくあります。
データセットとモデルの評価は現実世界のコンテキストを表していないことが多く、評価はモデルのトレーニングから独立していないことがよくあります。
データとコードの可用性は不十分です。
我々は、一連の 3 つの再現研究で現在の検出法の限界を実証します。
これらの分析結果と文献調査に基づいて、信頼性と安全性の問題全般に対する機械学習の適用を評価するための推奨事項を提供します。
私たちの目標は、私たちが特定した落とし穴を回避するための今後の取り組みです。

要約(オリジナル)

We examine the disconnect between scholarship and practice in applying machine learning to trust and safety problems, using misinformation detection as a case study. We systematize literature on automated detection of misinformation across a corpus of 270 well-cited papers in the field. We then examine subsets of papers for data and code availability, design missteps, reproducibility, and generalizability. Our paper corpus includes published work in security, natural language processing, and computational social science. Across these disparate disciplines, we identify common errors in dataset and method design. In general, detection tasks are often meaningfully distinct from the challenges that online services actually face. Datasets and model evaluation are often non-representative of real-world contexts, and evaluation frequently is not independent of model training. Data and code availability is poor. We demonstrate the limitations of current detection methods in a series of three replication studies. Based on the results of these analyses and our literature survey, we offer recommendations for evaluating applications of machine learning to trust and safety problems in general. Our aim is for future work to avoid the pitfalls that we identify.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google