Human-in-the-loop Evaluation for Early Misinformation Detection: A Case Study of COVID-19 Treatments

要約

新奇な誤報の主張をファクトチェックし、それを支持するソーシャルメディア・メッセージを特定するための、人間によるイン・ザ・ループ評価フレームワークを紹介する。本アプローチでは、チェックに値する主張を抽出し、それらをレビューのために集約してランク付けする。次に、スタンス分類器を使用して、新規の誤情報主張を支持するツイートを特定し、さらに、関連するポリシーに違反しているかどうかを判断するためにレビューする。本アプローチの実現可能性を実証するため、COVID-19治療の領域において、人によるファクトチェックのための最新のNLP手法に基づいたベースラインシステムを開発した。生のユーザー生成コンテンツから新奇な誤情報を直接特定するヒューマン・イン・ザ・ループ・システムの評価をサポートするために、我々のデータと詳細なアノテーション・ガイドラインを利用できるようにする。

要約(オリジナル)

We present a human-in-the-loop evaluation framework for fact-checking novel misinformation claims and identifying social media messages that support them. Our approach extracts check-worthy claims, which are aggregated and ranked for review. Stance classifiers are then used to identify tweets supporting novel misinformation claims, which are further reviewed to determine whether they violate relevant policies. To demonstrate the feasibility of our approach, we develop a baseline system based on modern NLP methods for human-in-the-loop fact-checking in the domain of COVID-19 treatments. We make our data and detailed annotation guidelines available to support the evaluation of human-in-the-loop systems that identify novel misinformation directly from raw user-generated content.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL