要約
ニュースソースの信頼性を評価することは、正確な情報を取得して広めることに努めているジャーナリストや組織にとって日常的な作業です。
最近の研究では、情報源の信頼性を予測することが、フェイク ニュースの検出や事実確認などの追加の課題に対処するための重要な最優先のステップであることが示されています。
本稿では、ニュースソースの信頼度を推定するための強化学習戦略を活用した、ソース信頼性推定の新しいアプローチを紹介します。
これまでの研究とは対照的に、私たちが提案するアプローチは、すべてのニュース メディア ソースが Web 上でどのように相互作用するかに基づいて、信頼性のラベルではなく、信頼性の程度の推定として問題をモデル化します。
私たちは、同等の既存のデータセットよりも一桁大きいニュースメディアの信頼性データセットに対して、この方法の有効性を検証しました。
結果は、推定された信頼度がジャーナリストが提供したスコア (Spearman=0.80) と強く相関しており、信頼性ラベル (マクロ平均 F$_1$ スコア = 81.05) を効果的に予測できることを示しています。
私たちは、情報検証に取り組む NLP コミュニティに貴重なリソースを提供することを目的として、実装とデータセットをリリースします。
要約(オリジナル)
Evaluating the reliability of news sources is a routine task for journalists and organizations committed to acquiring and disseminating accurate information. Recent research has shown that predicting sources’ reliability represents an important first-prior step in addressing additional challenges such as fake news detection and fact-checking. In this paper, we introduce a novel approach for source reliability estimation that leverages reinforcement learning strategies for estimating the reliability degree of news sources. Contrary to previous research, our proposed approach models the problem as the estimation of a reliability degree, and not a reliability label, based on how all the news media sources interact with each other on the Web. We validated the effectiveness of our method on a news media reliability dataset that is an order of magnitude larger than comparable existing datasets. Results show that the estimated reliability degrees strongly correlates with journalists-provided scores (Spearman=0.80) and can effectively predict reliability labels (macro-avg. F$_1$ score=81.05). We release our implementation and dataset, aiming to provide a valuable resource for the NLP community working on information verification.
arxiv情報
| 著者 | Sergio Burdisso,Dairazalia Sánchez-Cortés,Esaú Villatoro-Tello,Petr Motlicek |
| 発行日 | 2024-04-15 08:27:47+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google