HealthFC: Verifying Health Claims with Evidence-Based Medical Fact-Checking

要約

デジタル時代では、インターネットで健康に関するアドバイスを求めることが一般的になっています。
同時に、オンライン医療コンテンツの信頼性を判断することはますます困難になっています。
ファクトチェックは、信頼できる知識源からの証拠を使用して事実の主張の真実性を評価するアプローチとして登場しました。
このタスクのための自動自然言語処理 (NLP) ソリューションの進歩を支援するために、このペーパーでは新しいデータセット HealthFC を紹介します。
これは、ドイツ語と英語で書かれた 750 件の健康関連の主張で構成されており、医療専門家によって真実性がラベル付けされ、体系的なレビューと臨床試験からの証拠に裏付けられています。
データセットの分析を提供し、その特徴と課題を明らかにします。
このデータセットは、証拠の検索、主張の検証、説明の生成など、自動化された事実確認に関連する NLP タスクに使用できます。
テストの目的で、さまざまなアプローチに基づいたベースライン システムを提供し、そのパフォーマンスを検査し、その結果について議論します。
このデータセットが、将来の使用の可能性が高い、挑戦的なテストベッドであることを示します。

要約(オリジナル)

In the digital age, seeking health advice on the Internet has become a common practice. At the same time, determining the trustworthiness of online medical content is increasingly challenging. Fact-checking has emerged as an approach to assess the veracity of factual claims using evidence from credible knowledge sources. To help advance automated Natural Language Processing (NLP) solutions for this task, in this paper we introduce a novel dataset HealthFC. It consists of 750 health-related claims in German and English, labeled for veracity by medical experts and backed with evidence from systematic reviews and clinical trials. We provide an analysis of the dataset, highlighting its characteristics and challenges. The dataset can be used for NLP tasks related to automated fact-checking, such as evidence retrieval, claim verification, or explanation generation. For testing purposes, we provide baseline systems based on different approaches, examine their performance, and discuss the findings. We show that the dataset is a challenging test bed with a high potential for future use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google