$C^2$: Scalable Auto-Feedback for LLM-based Chart Generation

要約

大規模言語モデルを使用して高品質のチャートを生成するには、データが限られていることと人間によるキュレーションによるスケーリングのコストが高いため、大きな課題が生じます。
命令、データ、コードのトリプレットの作成には技術的な専門知識が必要なため、手動で管理するには希少かつ高価です。
このスケーラビリティの問題に対処するために、コストのかかる人的介入の必要性を排除する、リファレンスフリーの自動フィードバック生成機能を導入しました。
私たちの新しいフレームワーク $C^2$ は、(1) 自動フィードバック プロバイダー (ChartAF) と (2) 多様な参照不要のデータセット (ChartUIE-8K) で構成されます。
定量的な結果は説得力があります。最初の実験では、回答者の 74% がフィードバック後の結果を強く好み、10% がその結果を好みました。
2 回目のフィードバック後の実験では、ChartAF が 9 つのベースラインを上回るパフォーマンスを示しています。
さらに、ChartUIE-8K は、クエリ、データセット、チャート タイプをベンチマークと比べてそれぞれ 5982%、1936%、91% 増加させることにより、データの多様性を大幅に改善します。
最後に、LLM ユーザー調査では、参加者の 94% が ChartUIE-8K のクエリを好み、93% が現実世界のユースケースと一致していると考えていることが明らかになりました。
主要なコントリビューションは、匿名化されたプロジェクト サイトでオープンソースとして入手でき、豊富な定性的な例が含まれています。

要約(オリジナル)

Generating high-quality charts with Large Language Models presents significant challenges due to limited data and the high cost of scaling through human curation. Instruction, data, and code triplets are scarce and expensive to manually curate as their creation demands technical expertise. To address this scalability issue, we introduce a reference-free automatic feedback generator, which eliminates the need for costly human intervention. Our novel framework, $C^2$, consists of (1) an automatic feedback provider (ChartAF) and (2) a diverse, reference-free dataset (ChartUIE-8K). Quantitative results are compelling: in our first experiment, 74% of respondents strongly preferred, and 10% preferred, the results after feedback. The second post-feedback experiment demonstrates that ChartAF outperforms nine baselines. Moreover, ChartUIE-8K significantly improves data diversity by increasing queries, datasets, and chart types by 5982%, 1936%, and 91%, respectively, over benchmarks. Finally, an LLM user study revealed that 94% of participants preferred ChartUIE-8K’s queries, with 93% deeming them aligned with real-world use cases. Core contributions are available as open-source at an anonymized project site, with ample qualitative examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google