ChartQAPro: A More Diverse and Challenging Benchmark for Chart Question Answering

要約

チャートは遍在しています。多くの場合、人々はそれらを使用してデータを分析し、質問に答え、重要な洞察を発見するためです。
ただし、チャートで複雑な分析タスクを実行するには、重要な知覚的および認知的努力が必要です。
チャート質問応答（CQA）システムは、モデルがデータの視覚的表現で解釈および推論できるようにすることにより、このプロセスを自動化します。
ただし、Chartqaのような既存のベンチマークには、現実世界の多様性がなく、最近では最新の大型ビジョン言語モデル（LVLMS）でパフォーマンスの飽和を示しています。
これらの制限に対処するために、InfographicsやDashboardを含むさまざまなチャートタイプにまたがる157の多様なソースからの1,341のチャートを含む新しいベンチマークであるChartqaproを紹介し、複数の選択、会話、視床下部、および未回答の質問など、さまざまなタイプの1,948の質問を特徴とします。
21のモデルでの評価は、ChartqaproのLVLMSのパフォーマンスが大幅に低下することを示しています。
たとえば、Claude Sonnet 3.5はChartqaで90.5％を獲得しましたが、Chartqaproでは55.81％のみであり、チャート推論の複雑さを強調しています。
詳細なエラー分析とアブレーション研究で調査結果を補完し、チャートの理解と推論でLVLMを進めるための重要な課題と機会を特定します。
https://github.com/vis-nlp/chartqaproでChartqaproをリリースします。

要約(オリジナル)

Charts are ubiquitous, as people often use them to analyze data, answer questions, and discover critical insights. However, performing complex analytical tasks with charts requires significant perceptual and cognitive effort. Chart Question Answering (CQA) systems automate this process by enabling models to interpret and reason with visual representations of data. However, existing benchmarks like ChartQA lack real-world diversity and have recently shown performance saturation with modern large vision-language models (LVLMs). To address these limitations, we introduce ChartQAPro, a new benchmark that includes 1,341 charts from 157 diverse sources, spanning various chart types, including infographics and dashboards, and featuring 1,948 questions in various types, such as multiple-choice, conversational, hypothetical, and unanswerable questions, to better reflect real-world challenges. Our evaluations with 21 models show a substantial performance drop for LVLMs on ChartQAPro; e.g., Claude Sonnet 3.5 scores 90.5% on ChartQA but only 55.81% on ChartQAPro, underscoring the complexity of chart reasoning. We complement our findings with detailed error analyses and ablation studies, identifying key challenges and opportunities for advancing LVLMs in chart understanding and reasoning. We release ChartQAPro at https://github.com/vis-nlp/ChartQAPro.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google