Table-Critic: A Multi-Agent Framework for Collaborative Criticism and Refinement in Table Reasoning

要約

さまざまな推論タスクにおける大規模な言語モデル（LLMS）の顕著な能力にもかかわらず、彼らは依然としてテーブル推論タスクに苦労しています。
既存のアプローチはさまざまな分解戦略を調査しましたが、中間推論ステップでエラーを特定して修正するための効果的なメカニズムが欠けていることが多く、カスケードエラーの伝播につながります。
これらの問題に対処するために、ソリューションを修正するために収束するまで、共同批判と推論プロセスの反復改良を促進する新しいマルチエージェントフレームワークであるTable-Criticを提案します。
私たちのフレームワークは、4つの専門的なエージェントで構成されています。エラー識別の裁判官、包括的な批評の批評家、プロセス改善の精製業者、パターン蒸留のキュレーターです。
多様で予測不可能なエラータイプを効果的に扱うために、経験駆動型の学習を通じて批評を体系的に蓄積し、将来の反省をガイドする自己進化テンプレートツリーを導入します。
広範な実験により、テーブルcriticが既存の方法よりも大幅に改善され、計算効率と溶液の分解率の低下を維持しながら、優れた精度とエラー補正率を達成することが実証されています。

要約(オリジナル)

Despite the remarkable capabilities of large language models (LLMs) in various reasoning tasks, they still struggle with table reasoning tasks, particularly in maintaining consistency throughout multi-step reasoning processes. While existing approaches have explored various decomposition strategies, they often lack effective mechanisms to identify and correct errors in intermediate reasoning steps, leading to cascading error propagation. To address these issues, we propose Table-Critic, a novel multi-agent framework that facilitates collaborative criticism and iterative refinement of the reasoning process until convergence to correct solutions. Our framework consists of four specialized agents: a Judge for error identification, a Critic for comprehensive critiques, a Refiner for process improvement, and a Curator for pattern distillation. To effectively deal with diverse and unpredictable error types, we introduce a self-evolving template tree that systematically accumulates critique knowledge through experience-driven learning and guides future reflections. Extensive experiments have demonstrated that Table-Critic achieves substantial improvements over existing methods, achieving superior accuracy and error correction rates while maintaining computational efficiency and lower solution degradation rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google