Human-like Episodic Memory for Infinite Context LLMs

要約

大規模言語モデル (LLM) は顕著な機能を示していますが、依然として広範なコンテキストの処理に苦労しており、長いシーケンスにわたって一貫性と精度を維持する能力が制限されています。
対照的に、人間の脳は、生涯にわたる広大な時間スケールにわたってエピソード的な経験を組織化し、検索することに優れています。
この研究では、人間のエピソード記憶とイベント認知の重要な側面を LLM に統合する新しいアプローチである EM-LLM を紹介します。これにより、計算効率を維持しながら実質的に無限のコンテキスト長を効果的に処理できるようになります。
EM-LLM は、オンライン方式でベイジアン サプライズとグラフ理論による境界洗練を組み合わせて、一連のトークンを一貫したエピソード イベントに編成します。
必要に応じて、これらのイベントは 2 段階の記憶プロセスを通じて取得され、類似性に基づく検索と時間的に連続した検索を組み合わせて、関連情報への人間のような効率的なアクセスが可能になります。
LongBench データセットの実験では、EM-LLM の優れたパフォーマンスが実証されており、PassageRetrieval タスクでの 33% の改善を含む、さまざまなタスク全体で 4.3% の全体的な相対的改善により、最先端の InfLLM モデルを上回っています。
さらに、私たちの分析では、EM-LLMのイベントセグメンテーションと人間が認識するイベントとの間に強い相関関係があることが明らかになり、この人工システムとそれに対応する生物学的システムとの間に架け橋があることが示唆されています。
この研究は、拡張コンテキストの処理における LLM 機能を進歩させるだけでなく、人間の記憶メカニズムを探索するための計算フレームワークを提供し、AI と認知科学における学際的な研究に新たな道を開きます。

要約(オリジナル)

Large language models (LLMs) have shown remarkable capabilities, but still struggle with processing extensive contexts, limiting their ability to maintain coherence and accuracy over long sequences. In contrast, the human brain excels at organising and retrieving episodic experiences across vast temporal scales, spanning a lifetime. In this work, we introduce EM-LLM, a novel approach that integrates key aspects of human episodic memory and event cognition into LLMs, enabling them to effectively handle practically infinite context lengths while maintaining computational efficiency. EM-LLM organises sequences of tokens into coherent episodic events using a combination of Bayesian surprise and graph-theoretic boundary refinement in an on-line fashion. When needed, these events are retrieved through a two-stage memory process, combining similarity-based and temporally contiguous retrieval for efficient and human-like access to relevant information. Experiments on the LongBench dataset demonstrate EM-LLM’s superior performance, outperforming the state-of-the-art InfLLM model with an overall relative improvement of 4.3% across various tasks, including a 33% improvement on the PassageRetrieval task. Furthermore, our analysis reveals strong correlations between EM-LLM’s event segmentation and human-perceived events, suggesting a bridge between this artificial system and its biological counterpart. This work not only advances LLM capabilities in processing extended contexts but also provides a computational framework for exploring human memory mechanisms, opening new avenues for interdisciplinary research in AI and cognitive science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google