要約
私たちは、科学論文の証拠を使用して、ニュースからの COVID-19 に関する主張を検証するシステムを必要とする、新しいファクトチェック ベンチマークである Check-COVID を紹介します。
このファクトチェックのアプローチは、日常言語で書かれたインターネットテキストを、正式な学術言語で書かれた雑誌記事の証拠と照合する必要があるため、特に困難です。
Check-COVID には、コロナウイルスに関する専門家による注釈付きの 1,504 件のニュース主張が、科学雑誌の記事や真実性ラベルからの文章レベルの証拠と組み合わせて含まれています。
これには、抽出された (ジャーナリストが書いた) 主張と合成された (アノテーターが書いた) 主張の両方が含まれます。
ファクトチェック専用システムと GPT-3.5 の両方を使用した実験では、このタスクでそれぞれ 76.99 と 69.90 の F1 スコアを達成し、両方のクレーム タイプを自動的にファクト チェックすることの難しさと、良好なパフォーマンスを得るにはドメイン内データの重要性が明らかになりました。
私たちのデータとモデルは https://github.com/posuer/Check-COVID で公開されています。
要約(オリジナル)
We present a new fact-checking benchmark, Check-COVID, that requires systems to verify claims about COVID-19 from news using evidence from scientific articles. This approach to fact-checking is particularly challenging as it requires checking internet text written in everyday language against evidence from journal articles written in formal academic language. Check-COVID contains 1, 504 expert-annotated news claims about the coronavirus paired with sentence-level evidence from scientific journal articles and veracity labels. It includes both extracted (journalist-written) and composed (annotator-written) claims. Experiments using both a fact-checking specific system and GPT-3.5, which respectively achieve F1 scores of 76.99 and 69.90 on this task, reveal the difficulty of automatically fact-checking both claim types and the importance of in-domain data for good performance. Our data and models are released publicly at https://github.com/posuer/Check-COVID.
arxiv情報
| 著者 | Gengyu Wang,Kate Harwood,Lawrence Chillrud,Amith Ananthram,Melanie Subbiah,Kathleen McKeown |
| 発行日 | 2023-05-29 17:39:22+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google