The Challenges of Machine Learning for Trust and Safety: A Case Study on Misinformation Detection

要約

私たちは、ケーススタディとして誤った情報の検出を使用して、機械学習を信頼と安全の問題に適用する際の学問と実践の間の断絶を調査します。
私たちは、この分野でよく引用されている 270 件の論文のコーパス全体にわたって、誤った情報の自動検出に関する文献を体系化しています。
次に、論文のサブセットを調べて、データとコードの可用性、設計上の誤り、再現性、一般化可能性を調べます。
文献には、主張されている性能と実用性に疑問を投げかける重大な欠点が見つかりました。
多くの場合、検出タスクは、オンライン サービスが実際に直面する課題とは大きく異なります。
データセットとモデルの評価は現実世界のコンテキストを表していないことが多く、評価はモデルのトレーニングから独立していないことがよくあります。
データとコードの可用性は不十分です。
モデルはドメイン外のデータに対してうまく一般化できません。
これらの結果に基づいて、信頼性と安全性の問題に対する機械学習アプリケーションを評価するための推奨事項を提供します。
私たちの目標は、私たちが特定した落とし穴を回避するための今後の取り組みです。

要約(オリジナル)

We examine the disconnect between scholarship and practice in applying machine learning to trust and safety problems, using misinformation detection as a case study. We systematize literature on automated detection of misinformation across a corpus of 270 well-cited papers in the field. We then examine subsets of papers for data and code availability, design missteps, reproducibility, and generalizability. We find significant shortcomings in the literature that call into question claimed performance and practicality. Detection tasks are often meaningfully distinct from the challenges that online services actually face. Datasets and model evaluation are often non-representative of real-world contexts, and evaluation frequently is not independent of model training. Data and code availability is poor. Models do not generalize well to out-of-domain data. Based on these results, we offer recommendations for evaluating machine learning applications to trust and safety problems. Our aim is for future work to avoid the pitfalls that we identify.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google