MemGPT: Towards LLMs as Operating Systems

要約

大規模言語モデル (LLM) は AI に革命をもたらしましたが、コンテキスト ウィンドウが限られているため、長時間の会話や文書分析などのタスクでの有用性が妨げられています。
限られたコンテキスト ウィンドウを超えてコンテキストを使用できるようにするために、仮想コンテキスト管理を提案します。これは、高速メモリと低速メモリ間のデータ移動を通じて大規模なメモリ リソースを提供する従来のオペレーティング システムの階層メモリ システムからインスピレーションを得た技術です。
この技術を使用して、LLM の限られたコンテキスト ウィンドウ内で拡張コンテキストを効果的に提供するためにさまざまなメモリ層をインテリジェントに管理するシステムである MemGPT (Memory-GPT) を導入します。また、割り込みを利用してそれ自体とユーザー間の制御フローを管理します。
私たちは、最新の LLM の限られたコンテキスト ウィンドウがパフォーマンスを著しく阻害する 2 つのドメインで OS にインスピレーションを得た設計を評価します。1 つはドキュメント分析で、MemGPT は基盤となる LLM のコンテキスト ウィンドウをはるかに超える大規模なドキュメントを分析できます。もう 1 つはマルチセッション チャットです。
MemGPT は、ユーザーとの長期的な対話を通じて動的に記憶、反映、進化する会話型エージェントを作成できます。
実験用の MemGPT コードとデータを https://memgpt.ai で公開しています。

要約(オリジナル)

Large language models (LLMs) have revolutionized AI, but are constrained by limited context windows, hindering their utility in tasks like extended conversations and document analysis. To enable using context beyond limited context windows, we propose virtual context management, a technique drawing inspiration from hierarchical memory systems in traditional operating systems that provide the appearance of large memory resources through data movement between fast and slow memory. Using this technique, we introduce MemGPT (Memory-GPT), a system that intelligently manages different memory tiers in order to effectively provide extended context within the LLM’s limited context window, and utilizes interrupts to manage control flow between itself and the user. We evaluate our OS-inspired design in two domains where the limited context windows of modern LLMs severely handicaps their performance: document analysis, where MemGPT is able to analyze large documents that far exceed the underlying LLM’s context window, and multi-session chat, where MemGPT can create conversational agents that remember, reflect, and evolve dynamically through long-term interactions with their users. We release MemGPT code and data for our experiments at https://memgpt.ai.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google