From Isolated Conversations to Hierarchical Schemas: Dynamic Tree Memory Representation for LLMs

要約

近年の大規模言語モデルの進歩により、そのコンテキストウィンドウは大幅に改善されたが、効果的な長期メモリ管理には課題が残っている。我々は、人間の認知スキーマのように、情報の整理、検索、統合を最適化するために、動的なツリー構造のメモリ表現を活用するアルゴリズムであるMemTreeを紹介する。MemTreeは記憶を階層的に整理し、各ノードには集約されたテキストコンテンツ、対応する意味的埋め込み、ツリーの深さにわたる様々な抽象化レベルがカプセル化される。我々のアルゴリズムは、新しい情報と既存の情報のセマンティック埋め込みを計算・比較することで、このメモリ構造を動的に適応させ、モデルのコンテキスト認識を強化する。このアプローチにより、MemTreeは、フラットなルックアップテーブルに依存することが多い従来のメモリ増強手法よりも、複雑な推論や拡張インタラクションをより効果的に扱うことができる。マルチターン対話理解と文書質問応答のベンチマークを評価した結果、MemTreeは構造化されたメモリ管理を必要とするシナリオにおいて、パフォーマンスを大幅に向上させることがわかった。

要約(オリジナル)

Recent advancements in large language models have significantly improved their context windows, yet challenges in effective long-term memory management remain. We introduce MemTree, an algorithm that leverages a dynamic, tree-structured memory representation to optimize the organization, retrieval, and integration of information, akin to human cognitive schemas. MemTree organizes memory hierarchically, with each node encapsulating aggregated textual content, corresponding semantic embeddings, and varying abstraction levels across the tree’s depths. Our algorithm dynamically adapts this memory structure by computing and comparing semantic embeddings of new and existing information to enrich the model’s context-awareness. This approach allows MemTree to handle complex reasoning and extended interactions more effectively than traditional memory augmentation methods, which often rely on flat lookup tables. Evaluations on benchmarks for multi-turn dialogue understanding and document question answering show that MemTree significantly enhances performance in scenarios that demand structured memory management.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL