Long Term Memory: The Foundation of AI Self-Evolution

要約

GPTのような大規模言語モデル（LLM）は、膨大なデータセットで学習され、言語理解、推論、プランニングにおいて素晴らしい能力を発揮し、様々なタスクにおいて人間レベルの性能を達成している。ほとんどの研究は、より強力な基礎モデルを構築するために、より大きなデータセットで学習することにより、これらのモデルを強化することに焦点を当てている。より強力なモデルを訓練することは重要であるが、推論中にモデルが進化できるようにすることも同様に重要である。大規模なトレーニングとは異なり、自己進化は限られたデータや相互作用に依存する可能性がある。人間の大脳皮質の柱状組織から着想を得て、我々はAIモデルが環境との反復的な相互作用を通じて認知能力を発達させ、内部表現を構築することができるという仮説を立てた。これを実現するために、モデルは処理された相互作用データを保存・管理する長期記憶（LTM）を必要とする。LTMは、環境やエージェント間の多様な経験を表現することで、自己進化をサポートする。本レポートでは、AIの自己進化と、推論中のモデルを強化するその可能性を探る。生涯学習におけるLTMの役割を検討し、蓄積された相互作用に基づいてモデルが進化することを可能にする。LTMの構造と、効果的なデータ保持と表現に必要なシステムについて概説する。また、LTMデータを用いてパーソナライズされたモデルを構築するアプローチを分類し、これらのモデルが相互作用を通じてどのように自己進化を遂げるかを示す。LTMを用いた我々のマルチエージェントフレームワークOMNEは、GAIAベンチマークで1位を獲得し、LTMがAIの自己進化を実現する可能性を実証した。最後に、今後の研究のロードマップを示し、AI技術とその実用的な応用を発展させるためのLTMの重要性を強調する。

要約(オリジナル)

Large language models (LLMs) like GPTs, trained on vast datasets, have demonstrated impressive capabilities in language understanding, reasoning, and planning, achieving human-level performance in various tasks. Most studies focus on enhancing these models by training on ever-larger datasets to build more powerful foundation models. While training stronger models is important, enabling models to evolve during inference is equally crucial, a process we refer to as AI self-evolution. Unlike large-scale training, self-evolution may rely on limited data or interactions. Inspired by the columnar organization of the human cerebral cortex, we hypothesize that AI models could develop cognitive abilities and build internal representations through iterative interactions with their environment. To achieve this, models need long-term memory (LTM) to store and manage processed interaction data. LTM supports self-evolution by representing diverse experiences across environments and agents. In this report, we explore AI self-evolution and its potential to enhance models during inference. We examine LTM’s role in lifelong learning, allowing models to evolve based on accumulated interactions. We outline the structure of LTM and the systems needed for effective data retention and representation. We also classify approaches for building personalized models with LTM data and show how these models achieve self-evolution through interaction. Using LTM, our multi-agent framework OMNE achieved first place on the GAIA benchmark, demonstrating LTM’s potential for AI self-evolution. Finally, we present a roadmap for future research, emphasizing the importance of LTM for advancing AI technology and its practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL