Unmasking Deceptive Visuals: Benchmarking Multimodal Large Language Models on Misleading Chart Question Answering

要約

特定の主張をサポートするために意図的にデータ表現を操作する誤解を招くチャートの視覚化は、認識を歪め、誤った結論につながる可能性があります。
数十年にわたる研究にもかかわらず、誤解を招く視覚化は、広範で差し迫った問題のままです。
マルチモーダル大手言語モデル（MLLM）の最近の進歩は、強力なチャート理解能力を実証していますが、誤解を招くチャートを検出および解釈する能力を体系的に評価した既存の作業はありません。
このペーパーでは、誤解を招くチャートの質問応答（誤解を招くChartqa）ベンチマークを紹介します。これは、誤解を招くチャートの特定と推論においてMLLMを評価するために設計された大規模なマルチモーダルデータセットです。
3,000を超えるキュレーションされた例が含まれており、21種類の誤ったリーダーと10種類のチャートタイプをカバーしています。
各例には、標準化されたチャートコード、CSVデータ、およびマルチラウンドMLLMチェックと使い果たされた専門家のヒューマンレビューを通じて検証された、ラベル付き説明を含む複数選択の質問が含まれます。
データセットに16の最先端のMLLMをベンチマークし、視覚的に欺cept的な慣行を特定する際の制限を明らかにします。
また、誤解を招く誤解を招くために、誤解を招くチャートの解釈におけるMLLMの精度を高める新しいパイプラインを提案します。
私たちの仕事は、MLLM主導の誤解を招くチャートの理解を進めるための基盤を確立しています。
サンプルデータセットを公開して、この重要な領域でのさらなる研究をサポートします。

要約(オリジナル)

Misleading chart visualizations, which intentionally manipulate data representations to support specific claims, can distort perceptions and lead to incorrect conclusions. Despite decades of research, misleading visualizations remain a widespread and pressing issue. Recent advances in multimodal large language models (MLLMs) have demonstrated strong chart comprehension capabilities, yet no existing work has systematically evaluated their ability to detect and interpret misleading charts. This paper introduces the Misleading Chart Question Answering (Misleading ChartQA) Benchmark, a large-scale multimodal dataset designed to assess MLLMs in identifying and reasoning about misleading charts. It contains over 3,000 curated examples, covering 21 types of misleaders and 10 chart types. Each example includes standardized chart code, CSV data, and multiple-choice questions with labeled explanations, validated through multi-round MLLM checks and exhausted expert human review. We benchmark 16 state-of-the-art MLLMs on our dataset, revealing their limitations in identifying visually deceptive practices. We also propose a novel pipeline that detects and localizes misleaders, enhancing MLLMs’ accuracy in misleading chart interpretation. Our work establishes a foundation for advancing MLLM-driven misleading chart comprehension. We publicly release the sample dataset to support further research in this critical area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google