ChartSumm: A Comprehensive Benchmark for Automatic Chart Summarization of Long and Short Summaries

要約

タイトル：ChartSumm：長文と短文の要約のための包括的な自動チャート要約のためのベンチマーク

要約：

– データ駆動型モデルのために、大規模で構造化されたデータセットが重要である。
– ChartSummは84,363のチャートとそれらのメタデータおよび説明を含む大規模なベンチマークデータセットであり、幅広いトピックとチャートタイプをカバーし、短文と長文の要約を生成するためのものである。
– 強力なベースラインモデルに対する詳細な実験は、これらのモデルが自動評価メトリックのさまざまなスコアを達成して流暢で情報量の多い要約を生成しているにもかかわらず、しばしば幻想を生じたり、重要なデータポイントが抜けたり、チャート内の複雑なトレンドの説明が不正確な問題に直面することを示している。
– 自動翻訳ツールを使用してChartSummを他の言語に拡張する可能性を調査した結果、このデータセットは将来の研究にとって厳しいベンチマークとなる。

要約(オリジナル)

Automatic chart to text summarization is an effective tool for the visually impaired people along with providing precise insights of tabular data in natural language to the user. A large and well-structured dataset is always a key part for data driven models. In this paper, we propose ChartSumm: a large-scale benchmark dataset consisting of a total of 84,363 charts along with their metadata and descriptions covering a wide range of topics and chart types to generate short and long summaries. Extensive experiments with strong baseline models show that even though these models generate fluent and informative summaries by achieving decent scores in various automatic evaluation metrics, they often face issues like suffering from hallucination, missing out important data points, in addition to incorrect explanation of complex trends in the charts. We also investigated the potential of expanding ChartSumm to other languages using automated translation tools. These make our dataset a challenging benchmark for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI