MAMM-Refine: A Recipe for Improving Faithfulness in Generation with Multi-Agent Collaboration

要約

モデル間のマルチエージェントのコラボレーションは、推論タスクで有望であることを示していますが、要約や質問を回答するなどの長期的な生成タスクでは不足しています。
マルチエージェントマルチモデルの推論は、特に洗練による忠実さを改善するために、つまりモデル生成の出力を改訂して事実上の矛盾を除去するために拡張します。
複数のインスタンスとタイプの大規模な言語モデル（LLM）間の反復コラボレーションが、エラー検出、不誠実な文の批評、批評に基づいて修正を行うなど、改良プロセスのサブタスクをどのように強化するかを調査します。
各サブタスクの固有の評価を設計します。調査結果は、マルチエージェント（複数のインスタンス）とマルチモデル（多様なLLMタイプ）の両方が利益エラー検出と批評に近づくことを示しています。
さらに、批評と改良を生成タスクではなく再ランキングとして再構成すると、マルチエージェントのパフォーマンスが向上します。
これらの洞察を、マルチエージェントマルチモデル洗練（MAMM-Refine）と呼ばれる最終的な「レシピ」に統合します。マルチエージェントおよびマルチモデルコラボレーションは、3つの要約データセットのパフォーマンスを大幅に向上させ、長期の質問に応答し、レシピの有効性と一般化可能性を実証します。

要約(オリジナル)

Multi-agent collaboration among models has shown promise in reasoning tasks but is underexplored in long-form generation tasks like summarization and question-answering. We extend multi-agent multi-model reasoning to generation, specifically to improving faithfulness through refinement, i.e., revising model-generated outputs to remove factual inconsistencies. We investigate how iterative collaboration among multiple instances and types of large language models (LLMs) enhances subtasks in the refinement process, such as error detection, critiquing unfaithful sentences, and making corrections based on critiques. We design intrinsic evaluations for each subtask, with our findings indicating that both multi-agent (multiple instances) and multi-model (diverse LLM types) approaches benefit error detection and critiquing. Additionally, reframing critiquing and refinement as reranking rather than generation tasks improves multi-agent performance. We consolidate these insights into a final ‘recipe’ called Multi-Agent Multi-Model Refinement (MAMM-Refine), where multi-agent and multi-model collaboration significantly boosts performance on three summarization datasets as well as on long-form question answering, demonstrating the effectiveness and generalizability of our recipe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google