Synergistic Multi-Agent Framework with Trajectory Learning for Knowledge-Intensive Tasks

要約

大規模言語モデル (LLM) の最近の進歩により、さまざまな自然言語処理タスクに大きな進歩がもたらされました。
ただし、知識集約型のシナリオで事実と一致した応答を生成することは、幻覚、ロングテール知識の獲得の難しさ、記憶拡張の限界などの問題により、依然として課題が残っています。
この論文では、外部知識を活用して LLM が生成する応答の解釈可能性と事実の一貫性を強化する新しいマルチエージェント フレームワークである SMART を紹介します。
SMART は 4 つの特殊なエージェントで構成され、それぞれが特定のサブ軌道アクションを実行して、複雑な知識集約型タスクをナビゲートします。
我々は、各エージェントによるきめ細かい実行を維持しながら、エージェント間の相乗的なコラボレーションを保証する、マルチエージェント共同トレーニングパラダイムである長短軌跡学習を提案します。
5 つの知識集約型タスクに関する広範な実験により、広く採用されている知識の内部化および知識強化の手法と比較して、SMART の優れたパフォーマンスが実証されました。
私たちのフレームワークは、知識集約的なタスクを超えて、より複雑なシナリオに拡張できます。
私たちのコードは https://github.com/yueshengbin/SMART で入手できます。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) have led to significant breakthroughs in various natural language processing tasks. However, generating factually consistent responses in knowledge-intensive scenarios remains a challenge due to issues such as hallucination, difficulty in acquiring long-tailed knowledge, and limited memory expansion. This paper introduces SMART, a novel multi-agent framework that leverages external knowledge to enhance the interpretability and factual consistency of LLM-generated responses. SMART comprises four specialized agents, each performing a specific sub-trajectory action to navigate complex knowledge-intensive tasks. We propose a multi-agent co-training paradigm, Long-Short Trajectory Learning, which ensures synergistic collaboration among agents while maintaining fine-grained execution by each agent. Extensive experiments on five knowledge-intensive tasks demonstrate SMART’s superior performance compared to widely adopted knowledge internalization and knowledge enhancement methods. Our framework can extend beyond knowledge-intensive tasks to more complex scenarios. Our code is available at https://github.com/yueshengbin/SMART.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google