AVerImaTeC: A Dataset for Automatic Verification of Image-Text Claims with Evidence from the Web

要約

テキストの主張には、多くの場合、その信頼性を高め、ソーシャルメディアでの広がりを伴う画像が伴いますが、これは誤った情報の拡大に関する懸念も生じます。
画像テキストのクレームの自動検証のための既存のデータセットは、多くの場合、合成の主張で構成されており、判決の背後にある推論を把握するための証拠注釈が不足しているため、限られたままです。
この作業では、1,297の実際の画像テキストクレームで構成されるデータセットであるAverimatecを紹介します。
各クレームには、評決に関する分解された推論を反映して、Webからの証拠を含む質問回答（QA）ペアが注釈されます。
クレーム正規化、時間的に制約された証拠注釈、2段階の十分なチェックを介して、コンテキスト依存、時間的漏れ、証拠不足などの実際のチェックデータセットにおける一般的な課題を軽減します。
Averimatecでの注釈の一貫性を、アノテーター間研究を介して評価し、Verdictsで$ \ Kappa = 0.742 $を達成し、QAペアで$ 74.7 \％$の一貫性を達成します。
また、証拠の検索に関する新しい評価方法を提案し、Open-WEBの証拠を使用して画像テキストの主張を検証するためのベースラインを確立するための広範な実験を実施します。

要約(オリジナル)

Textual claims are often accompanied by images to enhance their credibility and spread on social media, but this also raises concerns about the spread of misinformation. Existing datasets for automated verification of image-text claims remain limited, as they often consist of synthetic claims and lack evidence annotations to capture the reasoning behind the verdict. In this work, we introduce AVerImaTeC, a dataset consisting of 1,297 real-world image-text claims. Each claim is annotated with question-answer (QA) pairs containing evidence from the web, reflecting a decomposed reasoning regarding the verdict. We mitigate common challenges in fact-checking datasets such as contextual dependence, temporal leakage, and evidence insufficiency, via claim normalization, temporally constrained evidence annotation, and a two-stage sufficiency check. We assess the consistency of the annotation in AVerImaTeC via inter-annotator studies, achieving a $\kappa=0.742$ on verdicts and $74.7\%$ consistency on QA pairs. We also propose a novel evaluation method for evidence retrieval and conduct extensive experiments to establish baselines for verifying image-text claims using open-web evidence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google