Wormhole Memory: A Rubik’s Cube for Cross-Dialogue Retrieval

要約

本研究では、現在の大規模言語モデルにおけるダイアログ間のメモリ共有のギャップに鑑み、異なるダイアログ間でメモリを任意に取り出せるルービックキューブとして実現するワームホールメモリモジュール(WMM)を提案する。シミュレーション実験により、Python環境をベースとした実験フレームワークを構築し、メモリバリアの設定により、LLMsダイアログ間のメモリ共有が困難な現状をシミュレートした。実験では、CoQA開発データセットをインポートし、WMMの非線形インデクシングと動的検索について、そのクロスダイアログメモリ検索機能の実現可能性を検証し、TitansやMemGPTメモリモジュールの機能との比較分析を行った。実験の結果、WMMは8つの実験において、対話をまたいだ記憶検索能力と定量的指標の安定性を実証した。本論文は、LLMのメモリ管理の最適化に対する新たな技術的アプローチに貢献し、今後の実用化に向けた経験を提供するものである。

要約(オリジナル)

In view of the gap in the current large language model in sharing memory across dialogues, this research proposes a wormhole memory module (WMM) to realize memory as a Rubik’s cube that can be arbitrarily retrieved between different dialogues. Through simulation experiments, the researcher built an experimental framework based on the Python environment and used setting memory barriers to simulate the current situation where memories between LLMs dialogues are difficult to share. The CoQA development data set was imported into the experiment, and the feasibility of its cross-dialogue memory retrieval function was verified for WMM’s nonlinear indexing and dynamic retrieval, and a comparative analysis was conducted with the capabilities of Titans and MemGPT memory modules. Experimental results show that WMM demonstrated the ability to retrieve memory across dialogues and the stability of quantitative indicators in eight experiments. It contributes new technical approaches to the optimization of memory management of LLMs and provides experience for the practical application in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL