A Guide to Misinformation Detection Data and Evaluation

要約

誤った情報は複雑な社会的問題であり、データの欠陥のためにソリューションを緩和することは困難です。
これに対処するために、文献の（MIS）情報データセットの最大のコレクション、合計75をキュレーションしました。これらの場合、ステートメントまたはクレームで構成される36のデータセットの品質と、純粋に段落形式のデータで構成される9つのデータセットを評価しました。
これらのデータセットを評価して、経験的研究のための強固な基礎を持つものと、偽りの相関関係や、曖昧またはその他の理由で不可能なものを評価することなど、誤解を招くような非一般化できない結果をもたらす可能性のある欠陥を持つデータセットを特定します。
後者の問題は特に深刻であり、文献のほとんどのデータセットに影響を及ぼします。
さらに、これらすべてのデータセットで最先端のベースラインを提供しますが、ラベルの品質に関係なく、カテゴリーラベルが検出モデルのパフォーマンスの正確な評価を提供しなくなる可能性があることを示しています。
最後に、評価の問題を誤って伝播するのではなく、体系的なソリューションに向けて分野を導くツールとして、評価品質保証（EQA）を提案し、強調します。
全体として、このガイドは、高品質のデータとより良い根拠のある評価のためのロードマップを提供し、最終的に誤った情報検出の研究を改善することを目的としています。
すべてのデータセットおよびその他のアーティファクトは、misinfo-datasets.complexdatalab.comで入手できます。

要約(オリジナル)

Misinformation is a complex societal issue, and mitigating solutions are difficult to create due to data deficiencies. To address this, we have curated the largest collection of (mis)information datasets in the literature, totaling 75. From these, we evaluated the quality of 36 datasets that consist of statements or claims, as well as the 9 datasets that consist of data in purely paragraph form. We assess these datasets to identify those with solid foundations for empirical work and those with flaws that could result in misleading and non-generalizable results, such as spurious correlations, or examples that are ambiguous or otherwise impossible to assess for veracity. We find the latter issue is particularly severe and affects most datasets in the literature. We further provide state-of-the-art baselines on all these datasets, but show that regardless of label quality, categorical labels may no longer give an accurate evaluation of detection model performance. Finally, we propose and highlight Evaluation Quality Assurance (EQA) as a tool to guide the field toward systemic solutions rather than inadvertently propagating issues in evaluation. Overall, this guide aims to provide a roadmap for higher quality data and better grounded evaluations, ultimately improving research in misinformation detection. All datasets and other artifacts are available at misinfo-datasets.complexdatalab.com.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google