Does It Run and Is That Enough? Revisiting Text-to-Chart Generation with a Multi-Agent Approach

要約

大規模な言語モデルは、自然言語チャートの説明を実行可能なコードに翻訳できますが、監視された微調整と強化学習の後でも、生成されたスクリプトの約15％が実行されません。
この永続的なエラー率がモデルの制限に起因するのか、単一プロンプト設計に依存しているのかを調査します。
これを調査するために、既製のGPT-4O-MINIモデルのみを使用して、起草、実行、修理、および判断を分離する軽量のマルチエージェントパイプラインを提案します。
\ textSc {text2chart31}ベンチマークでは、システムは3回の修復反復内で実行エラーを4.5 \％に減らし、最も強力な微調整ベースラインをほぼ5パーセントポイント上回りながら、コンピューティングを大幅に少なくします。
\ textsc {chartx}ベンチマークでも同様のパフォーマンスが観察され、エラー率は4.6 \％で、強力な一般化が示されています。
現在のベンチマークでは、実行の成功はほぼ解決されているようです。
ただし、手動のレビューでは、100枚のサンプルチャートのうち6個に幻覚が含まれており、LLMベースのアクセシビリティ監査には、生成されたチャートの7.2 \％（\ textSc {text2chart31}）と​​7.2 \％（\ textsc {chartx}）のみが基本的な色幅のガイドルを満たしていることが示されています。
これらの調査結果は、将来の作業が実行の信頼性からチャートの美学、セマンティックフィデリティ、およびアクセシビリティの改善に焦点を移すべきであることを示唆しています。

要約(オリジナル)

Large language models can translate natural-language chart descriptions into runnable code, yet approximately 15\% of the generated scripts still fail to execute, even after supervised fine-tuning and reinforcement learning. We investigate whether this persistent error rate stems from model limitations or from reliance on a single-prompt design. To explore this, we propose a lightweight multi-agent pipeline that separates drafting, execution, repair, and judgment, using only an off-the-shelf GPT-4o-mini model. On the \textsc{Text2Chart31} benchmark, our system reduces execution errors to 4.5\% within three repair iterations, outperforming the strongest fine-tuned baseline by nearly 5 percentage points while requiring significantly less compute. Similar performance is observed on the \textsc{ChartX} benchmark, with an error rate of 4.6\%, demonstrating strong generalization. Under current benchmarks, execution success appears largely solved. However, manual review reveals that 6 out of 100 sampled charts contain hallucinations, and an LLM-based accessibility audit shows that only 33.3\% (\textsc{Text2Chart31}) and 7.2\% (\textsc{ChartX}) of generated charts satisfy basic colorblindness guidelines. These findings suggest that future work should shift focus from execution reliability toward improving chart aesthetics, semantic fidelity, and accessibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google