Human-in-the-loop Evaluation for Early Misinformation Detection: A Case Study of COVID-19 Treatments

要約

タイトル：
・COVID-19治療におけるリアルタイムのミス情報検知の人間とAIの協業

要約：
・人間とAIの協業による、スピード感のあるミス情報検知フレームワークを提案
・チェックすべき主張を抽出し、ランキング化して人間がレビューするためのシステムを作成
・主張を支持するツイートを識別し、関連する方針に違反するかどうかを確認するスタンス分類器を使用
・COVID-19治療分野のミス情報検知のための人間とAIの協業に基づくベースライン・システムを開発
・ベースライン・システムにより、人間のファクトチェッカーが1時間に124件のCOVID-19情報のミスを特定できることを実証
・コード、データ、モデル、注釈ガイドラインを提供し、ユーザー生成コンテンツから新しいミス情報を直接特定するAI・人間の協業システムの評価をサポートする

要約(オリジナル)

We present a human-in-the-loop evaluation framework for fact-checking novel misinformation claims and identifying social media messages that support them. Our approach extracts check-worthy claims, which are aggregated and ranked for review. Stance classifiers are then used to identify tweets supporting novel misinformation claims, which are further reviewed to determine whether they violate relevant policies. To demonstrate the feasibility of our approach, we develop a baseline system based on modern NLP methods for human-in-the-loop fact-checking in the domain of COVID-19 treatments. Using our baseline system, we show that human fact-checkers can identify 124 tweets per hour that violate Twitter’s policies on COVID-19 misinformation. We will make our code, data, baseline models, and detailed annotation guidelines available to support the evaluation of human-in-the-loop systems that identify novel misinformation directly from raw user-generated content.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI