Memory Sharing for Large Language Model based Agents

要約

大規模言語モデル(Large Language Model: LLM)ベースのエージェントが、自然言語プロンプトを介してタスクを実行するように適応することは、特に明示的な再トレーニングや微調整の必要性を排除し、重要な進歩を意味するが、提供される例の包括性と多様性に制約され、特に自由形式の質問に関しては、しばしば期待される結果と大きく乖離した出力につながる。本論文では、In-Context Learningプロセスを強化するために、リアルタイムの記憶のフィルタリング、保存、検索を統合するフレームワークである記憶共有を紹介する。このフレームワークは、複数のエージェント間で記憶を共有することを可能にし、異なるエージェント間の相互作用と共有された記憶が、記憶の多様性を効果的に高める。複数のエージェント間のインタラクティブな学習による集合的な自己強化は、個人の知性から集合的な知性への進化を促進する。さらに、動的に増加する記憶プールは、応答の質を向上させるだけでなく、レトリーバーを訓練し強化するためにも利用される。我々は、エージェントの特殊なタスクを含む3つの異なる領域にわたって、我々のフレームワークを評価した。実験結果は、MSフレームワークが自由形式の質問に対するエージェントのパフォーマンスを大幅に向上させることを示している。

要約(オリジナル)

The adaptation of Large Language Model (LLM)-based agents to execute tasks via natural language prompts represents a significant advancement, notably eliminating the need for explicit retraining or fine tuning, but are constrained by the comprehensiveness and diversity of the provided examples, leading to outputs that often diverge significantly from expected results, especially when it comes to the open-ended questions. This paper introduces the Memory Sharing, a framework which integrates the real-time memory filter, storage and retrieval to enhance the In-Context Learning process. This framework allows for the sharing of memories among multiple agents, whereby the interactions and shared memories between different agents effectively enhance the diversity of the memories. The collective self-enhancement through interactive learning among multiple agents facilitates the evolution from individual intelligence to collective intelligence. Besides, the dynamically growing memory pool is utilized not only to improve the quality of responses but also to train and enhance the retriever. We evaluated our framework across three distinct domains involving specialized tasks of agents. The experimental results demonstrate that the MS framework significantly improves the agents’ performance in addressing open-ended questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL