MemoryBank: Enhancing Large Language Models with Long-Term Memory

要約

大規模言語モデルの革命的な進歩により、人工知能システムとの対話は劇的に変わりました。
それにもかかわらず、注目すべき障害が依然として残っています。それは、これらのモデル内の長期記憶メカニズムの欠如です。
この不足は、個人的なコンパニオンシステムや心理カウンセリングなど、継続的な交流が必要な状況でますます明らかになります。
したがって、LLM に合わせた新しいメモリ メカニズムである MemoryBank を提案します。
MemoryBank を使用すると、モデルは関連する記憶を呼び出し、継続的なメモリの更新を通じて継続的に進化し、過去のインタラクションからの情報を合成することでユーザーの性格を理解し、適応することができます。
擬人化された行動を模倣し、記憶を選択的に保存するために、MemoryBank には、エビングハウスの忘却曲線理論にヒントを得た記憶更新メカニズムが組み込まれています。これにより、AI は経過時間と記憶の相対的な重要性に基づいて記憶を忘れたり強化したりすることができ、それによって人間の
記憶の仕組みのようなもの。
MemoryBank は、ChatGPT のようなクローズドソース モデルと ChatGLM のようなオープンソース モデルの両方に対応する多用途性を備えています。
長期的な AI Companion シナリオで、SiliconFriend という名前の LLM ベースのチャットボットの作成を通じて MemoryBank のアプリケーションを例示します。
心理的対話によってさらに調整された SiliconFriend は、その対話において高い共感を示します。
実験には、実際のユーザー ダイアログを使用した定性分析と、シミュレートされたダイアログを使用した定量分析の両方が含まれます。
後者では、ChatGPT は多様な特性を持つユーザーとして機能し、幅広いトピックをカバーする長期的な対話コンテキストを生成します。
私たちの分析の結果、MemoryBank を搭載した SiliconFriend は、強調した応答を提供し、関連する記憶を思い出し、ユーザーの性格を理解できるため、長期的な付き合いに強力な機能を発揮することが明らかになりました。

要約(オリジナル)

Revolutionary advancements in Large Language Models have drastically reshaped our interactions with artificial intelligence systems. Despite this, a notable hindrance remains-the deficiency of a long-term memory mechanism within these models. This shortfall becomes increasingly evident in situations demanding sustained interaction, such as personal companion systems and psychological counseling. Therefore, we propose MemoryBank, a novel memory mechanism tailored for LLMs. MemoryBank enables the models to summon relevant memories, continually evolve through continuous memory updates, comprehend, and adapt to a user personality by synthesizing information from past interactions. To mimic anthropomorphic behaviors and selectively preserve memory, MemoryBank incorporates a memory updating mechanism, inspired by the Ebbinghaus Forgetting Curve theory, which permits the AI to forget and reinforce memory based on time elapsed and the relative significance of the memory, thereby offering a human-like memory mechanism. MemoryBank is versatile in accommodating both closed-source models like ChatGPT and open-source models like ChatGLM. We exemplify application of MemoryBank through the creation of an LLM-based chatbot named SiliconFriend in a long-term AI Companion scenario. Further tuned with psychological dialogs, SiliconFriend displays heightened empathy in its interactions. Experiment involves both qualitative analysis with real-world user dialogs and quantitative analysis with simulated dialogs. In the latter, ChatGPT acts as users with diverse characteristics and generates long-term dialog contexts covering a wide array of topics. The results of our analysis reveal that SiliconFriend, equipped with MemoryBank, exhibits a strong capability for long-term companionship as it can provide emphatic response, recall relevant memories and understand user personality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google