ChartInsighter: An Approach for Mitigating Hallucination in Time-series Chart Summary Generation with A Benchmark Dataset

要約

効果的なチャートの概要により、意思決定者がチャートの解釈に費やす時間と労力が大幅に削減され、データの洞察を正確かつ効率的に伝達できるようになります。
これまでの研究では、時系列データ チャートの正確かつ意味的に豊富な概要を生成するという課題に直面していました。
この論文では、自動生成のガイドラインとして機能する、時系列チャートの要約を生成する際の要約要素と一般的な幻覚の種類を特定します。
時系列データのチャート概要を自動的に生成し、チャート概要生成時の幻覚を効果的に軽減する ChartInsighter を紹介します。
具体的には、複数のエージェントを割り当てて最初のグラフの概要を生成し、反復的に共同作業を行います。その間、エージェントは外部データ分析モジュールを呼び出して洞察を抽出し、一貫した概要にまとめます。
さらに、要約を検証して修正するための自己整合性テスト方法を実装します。
私たちは、幻覚の種類に文ごとに注釈を付けた図表と要約の高品質なベンチマークを作成し、幻覚軽減効果の評価を容易にします。
ベンチマークを使用した評価では、この方法が最先端のモデルを上回っており、要約幻覚率が最も低いため、さまざまな幻覚が効果的に軽減され、要約の品質が向上していることがわかります。
ベンチマークは https://github.com/wangfen01/ChartInsighter で入手できます。

要約(オリジナル)

Effective chart summary can significantly reduce the time and effort decision makers spend interpreting charts, enabling precise and efficient communication of data insights. Previous studies have faced challenges in generating accurate and semantically rich summaries of time-series data charts. In this paper, we identify summary elements and common hallucination types in the generation of time-series chart summaries, which serve as our guidelines for automatic generation. We introduce ChartInsighter, which automatically generates chart summaries of time-series data, effectively reducing hallucinations in chart summary generation. Specifically, we assign multiple agents to generate the initial chart summary and collaborate iteratively, during which they invoke external data analysis modules to extract insights and compile them into a coherent summary. Additionally, we implement a self-consistency test method to validate and correct our summary. We create a high-quality benchmark of charts and summaries, with hallucination types annotated on a sentence-by-sentence basis, facilitating the evaluation of the effectiveness of reducing hallucinations. Our evaluations using our benchmark show that our method surpasses state-of-the-art models, and that our summary hallucination rate is the lowest, which effectively reduces various hallucinations and improves summary quality. The benchmark is available at https://github.com/wangfen01/ChartInsighter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google