MAGIC: Generating Self-Correction Guideline for In-Context Text-to-SQL

要約

text-to-SQL の自己修正は、大規模言語モデル (LLM) に、以前に誤って生成された SQL を修正するよう促すプロセスであり、通常は人間の専門家によって手動で作成された自己修正ガイドラインに依存しますが、これは作成に労力がかかるだけでなく、
しかし、LLM 応答内の潜在的なエラー パターンをすべて識別する人間の能力によっても制限されます。
自己修正ガイドラインの作成を自動化する新しいマルチエージェント手法 MAGIC を紹介します。
MAGIC は、マネージャー、修正エージェント、フィードバック エージェントの 3 つの専門エージェントを使用します。
これらのエージェントは、トレーニング セット上の LLM ベースのメソッドの失敗について協力して、LLM の間違いに合わせた自己修正ガイドラインを繰り返し生成および改良し、人間のプロセスを反映しますが、人間の関与はありません。
私たちの広範な実験により、MAGIC のガイドラインは専門家が作成したガイドラインよりも優れていることが示されています。
私たちは、MAGIC によって作成されたガイドラインが、行われた修正の解釈可能性を高め、自己修正における LLM の失敗と成功の背後にある理由を分析する際の洞察を提供することを経験的に発見しました。
私たちは、この分野でのさらなる研究を促進するために、すべてのエージェントのインタラクションを研究コミュニティに公開し、自動自己修正ガイドライン生成の将来の探索のための合成データセットを提供します。

要約(オリジナル)

Self-correction in text-to-SQL is the process of prompting large language model (LLM) to revise its previously incorrectly generated SQL, and commonly relies on manually crafted self-correction guidelines by human experts that are not only labor-intensive to produce but also limited by the human ability in identifying all potential error patterns in LLM responses. We introduce MAGIC, a novel multi-agent method that automates the creation of the self-correction guideline. MAGIC uses three specialized agents: a manager, a correction, and a feedback agent. These agents collaborate on the failures of an LLM-based method on the training set to iteratively generate and refine a self-correction guideline tailored to LLM mistakes, mirroring human processes but without human involvement. Our extensive experiments show that MAGIC’s guideline outperforms expert human’s created ones. We empirically find out that the guideline produced by MAGIC enhance the interpretability of the corrections made, providing insights in analyzing the reason behind the failures and successes of LLMs in self-correction. We make all agent interactions publicly available to the research community, to foster further research in this area, offering a synthetic dataset for future explorations into automatic self-correction guideline generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google