UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning

要約

グラフは、データを分析し、重要な洞察を視覚化し、データに関する複雑な推論上の質問に答えるために非常によく使われます。
自然言語を使用したチャートベースのデータ分析を容易にするために、チャートの質問応答やチャートの要約など、いくつかの下流タスクが最近導入されました。
ただし、これらのタスクを解決する方法のほとんどは、グラフの構造 (データがどのように視覚的にエンコードされるか、グラフの要素が互いにどのように関連するかなど) を明示的にモデル化しようとしない言語または視覚言語タスクの事前トレーニングを使用します。
これに対処するために、まず、さまざまなトピックやビジュアル スタイルをカバーする大規模なチャートのコーパスを構築します。
次に、チャートの理解と推論のための事前トレーニング済みモデルである UniChart を紹介します。
UniChart は、チャートの関連するテキスト、データ、視覚要素をエンコードし、チャートに基づいたテキスト デコーダーを使用して、自然言語で期待される出力を生成します。
私たちは、(i) グラフから視覚要素 (棒、線など) とデータを抽出する低レベルのタスク、および (ii) グラフの理解と推論スキルを習得する高レベルのタスクを含む、いくつかのグラフ固有の事前トレーニング タスクを提案します。
。
チャート固有の低レベルおよび高レベルのタスクを使用して大規模なコーパスでモデルを事前トレーニングし、その後 3 つの下流タスクで微調整を行うと、3 つの下流タスクで最先端のパフォーマンスが得られることがわかりました。

要約(オリジナル)

Charts are very popular for analyzing data, visualizing key insights and answering complex reasoning questions about data. To facilitate chart-based data analysis using natural language, several downstream tasks have been introduced recently such as chart question answering and chart summarization. However, most of the methods that solve these tasks use pretraining on language or vision-language tasks that do not attempt to explicitly model the structure of the charts (e.g., how data is visually encoded and how chart elements are related to each other). To address this, we first build a large corpus of charts covering a wide variety of topics and visual styles. We then present UniChart, a pretrained model for chart comprehension and reasoning. UniChart encodes the relevant text, data, and visual elements of charts and then uses a chart-grounded text decoder to generate the expected output in natural language. We propose several chart-specific pretraining tasks that include: (i) low-level tasks to extract the visual elements (e.g., bars, lines) and data from charts, and (ii) high-level tasks to acquire chart understanding and reasoning skills. We find that pretraining the model on a large corpus with chart-specific low- and high-level tasks followed by finetuning on three down-streaming tasks results in state-of-the-art performance on three downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google