ChartCheck: An Evidence-Based Fact-Checking Dataset over Real-World Chart Images

要約

データの視覚化は現実世界では一般的です。
私たちは重要な情報を視覚的な形式で要約するために、科学文書、ニュース記事、教科書、ソーシャル メディアなどのデータ ソースでこれらをよく使用します。
チャートは、虚偽の情報を伝えたり、特定の議題に偏らせたりすることで、視聴者を誤解させる可能性もあります。
主張をチャートと照合して検証するのは簡単なプロセスではありません。
色、位置、方向などの特性を考慮して、グラフのテキストと視覚コンポーネントの両方を分析する必要があります。
さらに、主張がチャートの内容によって裏付けられているかどうかを判断するには、多くの場合、さまざまな種類の推論が必要になります。
この課題に対処するために、チャート画像に対するファクトチェックのための新しいデータセットである ChartCheck を紹介します。
ChartCheck は、1.7k の現実世界のチャートと 10.5k の人が書いた主張と説明を含む初の大規模データセットです。
最先端のモデルでデータセットを評価し、微調整された設定で 73.9 の精度を達成しました。
さらに、モデルに課題を与えるチャートの特性と推論の種類を特定しました。

要約(オリジナル)

Data visualizations are common in the real-world. We often use them in data sources such as scientific documents, news articles, textbooks, and social media to summarize key information in a visual form. Charts can also mislead its audience by communicating false information or biasing them towards a specific agenda. Verifying claims against charts is not a straightforward process. It requires analyzing both the text and visual components of the chart, considering characteristics such as colors, positions, and orientations. Moreover, to determine if a claim is supported by the chart content often requires different types of reasoning. To address this challenge, we introduce ChartCheck, a novel dataset for fact-checking against chart images. ChartCheck is the first large-scale dataset with 1.7k real-world charts and 10.5k human-written claims and explanations. We evaluated the dataset on state-of-the-art models and achieved an accuracy of 73.9 in the finetuned setting. Additionally, we identified chart characteristics and reasoning types that challenge the models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google