$C^2$: Scalable Auto-Feedback for LLM-based Chart Generation

要約

大規模な言語モデル（LLM）を備えた高品質のチャートを生成することは、データが限られていることと人間のキュレーションのスケーリングのコストが高いため、重大な課題を提示します。
$ \ langle \ text {instruction}、\ text {data}、\ text {code} \ rangle $トリプレットは、作成が技術的な専門知識を必要とするため、手動でキュレートするのが少ない費用がかかります。
このスケーラビリティの課題に対処するために、リファレンスフリーの自動フィードバックジェネレーターを導入します。これにより、費用のかかる人間の介入の必要性が排除されます。
私たちの斬新なフレームワークc $^2 $は、（1）自動フィードバックプロバイダー（Chartaf）と（2）多様なリファレンスフリーデータセット（Chartuie-8K）で構成されています。
結果は説得力があります。最初の実験では、回答者の74％がフィードバック後の結果を強く望んでおり、10％が好みました。
2番目のフィードバック後の実験は、チャルタフが9つのベースラインよりも優れていることを示しています。
さらに、Chartuie-8Kは、ベンチマークよりもそれぞれ5982％、1936％、および91％増加することにより、データの多様性を大幅に改善します。
最後に、LLMユーザーの調査では、参加者の94％がChartuie-8Kのクエリを好んでおり、93％が実際のユースケースと整合していると見なしていることが明らかになりました。
コアの貢献は、chartsquared.github.ioでオープンソースとして利用でき、十分な定性的例があります。

要約(オリジナル)

Generating high-quality charts with Large Language Models (LLMs) presents significant challenges due to limited data and the high cost of scaling through human curation. $\langle \text{instruction}, \text{data}, \text{code} \rangle$ triplets are scarce and expensive to manually curate as their creation demands technical expertise. To address this scalability challenge, we introduce a reference-free automatic feedback generator, which eliminates the need for costly human intervention. Our novel framework, C$^2$, consists of (1) an automatic feedback provider (ChartAF) and (2) a diverse, reference-free dataset (ChartUIE-8K). The results are compelling: in our first experiment, 74% of respondents strongly preferred, and 10% preferred, the results after feedback. The second post-feedback experiment demonstrates that ChartAF outperform nine baselines. Moreover, ChartUIE-8K significantly improves data diversity by increasing queries, datasets, and chart types by 5982%, 1936%, and 91%, respectively, over benchmarks. Finally, a study of LLM users revealed that 94% of participants preferred ChartUIE-8K’s queries, with 93% deeming them aligned with real-world use cases. Core contributions are available as open-source at chartsquared.github.io, with ample qualitative examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google