Reading and Reasoning over Chart Images for Evidence-based Automated Fact-Checking

要約

自動ファクト チェック (AFC) の証拠データは、テキスト、表、画像、オーディオ、ビデオなど、複数のモダリティである可能性があります。
AFC に画像を使用することへの関心が高まっていますが、以前の研究では主に、操作された画像や偽の画像の検出に焦点が当てられていました。
新しいタスク、チャートベースのファクトチェックを提案し、チャート証拠に対するAFCの最初のモデルとしてChartBERTを紹介します。
ChartBERT は、チャートのテキスト、構造、および視覚情報を活用して、テキストの主張の信憑性を判断します。
評価のために、15,886 個のチャートの新しいデータセットである ChartFC を作成します。
75 の異なる視覚言語 (VL) ベースラインを体系的に評価し、ChartBERT が VL モデルよりも優れており、63.8% の精度を達成していることを示しています。
私たちの結果は、タスクが複雑でありながら実現可能であり、多くの課題が待ち構えていることを示唆しています。

要約(オリジナル)

Evidence data for automated fact-checking (AFC) can be in multiple modalities such as text, tables, images, audio, or video. While there is increasing interest in using images for AFC, previous works mostly focus on detecting manipulated or fake images. We propose a novel task, chart-based fact-checking, and introduce ChartBERT as the first model for AFC against chart evidence. ChartBERT leverages textual, structural and visual information of charts to determine the veracity of textual claims. For evaluation, we create ChartFC, a new dataset of 15, 886 charts. We systematically evaluate 75 different vision-language (VL) baselines and show that ChartBERT outperforms VL models, achieving 63.8% accuracy. Our results suggest that the task is complex yet feasible, with many challenges ahead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google