ChartCheck: Explainable Fact-Checking over Real-World Chart Images

要約

事実検証は自然言語処理コミュニティで大きな関心を集めていますが、グラフなどのデータ視覚化に対する誤った情報を伝える記述の検証はこれまで見落とされてきました。
チャートは、実世界では重要な情報を要約して伝達するためによく使用されますが、誤った情報を広めたり、特定の議題を推進したりするために簡単に悪用される可能性もあります。
この論文では、ChartCheck を紹介します。これは、現実世界のチャートに対して説明可能なファクトチェックを行うための新しい大規模データセットで、1.7k のチャートと 10.5k の人間が書いた主張と説明で構成されています。
私たちはビジョン言語モデルとチャートからテーブルへのモデルを使用して ChartCheck を体系的に評価し、コミュニティにベースラインを提案します。
最後に、これらのモデルに課題をもたらすチャート推論のタイプと視覚的属性を研究します。

要約(オリジナル)

Whilst fact verification has attracted substantial interest in the natural language processing community, verifying misinforming statements against data visualizations such as charts has so far been overlooked. Charts are commonly used in the real-world to summarize and communicate key information, but they can also be easily misused to spread misinformation and promote certain agendas. In this paper, we introduce ChartCheck, a novel, large-scale dataset for explainable fact-checking against real-world charts, consisting of 1.7k charts and 10.5k human-written claims and explanations. We systematically evaluate ChartCheck using vision-language and chart-to-table models, and propose a baseline to the community. Finally, we study chart reasoning types and visual attributes that pose a challenge to these models

arxiv情報

提供元, 利用サービス

arxiv.jp, Google