GenPlot: Increasing the Scale and Diversity of Chart Derendering Data

要約

縦棒、横棒、点、散布図、および折れ線プロットは、データを表すためのさまざまな視覚化セットを提供します。
これらのプロットを理解するには、テキストのコンポーネントを認識し、プロット内のデータ ポイントを特定し、さまざまな視覚的コンテキストを処理して情報を抽出できなければなりません。
Pix2Struct、Matcha、Deplot などの最近の作品では、OCR を使用しないチャートからテキストへの翻訳により、視覚言語タスクで最先端の結果が得られました。
これらの結果は、トレーニング前の目的としてのチャートのレンダリングの重要性を概説していますが、既存のデータセットはトレーニング例の固定セットを提供しています。
この論文では、GenPlot を提案します。
合成データを使用してチャートのレンダリング用に何十億もの追加プロットを生成できるプロット ジェネレーター。

要約(オリジナル)

Vertical bars, horizontal bars, dot, scatter, and line plots provide a diverse set of visualizations to represent data. To understand these plots, one must be able to recognize textual components, locate data points in a plot, and process diverse visual contexts to extract information. In recent works such as Pix2Struct, Matcha, and Deplot, OCR-free chart-to-text translation has achieved state-of-the-art results on visual language tasks. These results outline the importance of chart-derendering as a pre-training objective, yet existing datasets provide a fixed set of training examples. In this paper, we propose GenPlot; a plot generator that can generate billions of additional plots for chart-derendering using synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google