HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models

要約

敵対的で絶えず変化する自然環境で繁栄するために、哺乳類の脳は世界に関する大量の知識を保存し、壊滅的な忘却を避けながら新しい情報を継続的に統合するように進化しました。
目覚ましい成果にもかかわらず、大規模言語モデル (LLM) は、検索拡張生成 (RAG) を使用していても、事前トレーニング後に大量の新しいエクスペリエンスを効率的かつ効果的に統合するのに依然として苦労しています。
この研究では、人間の長期記憶の海馬インデックス理論に触発された新しい検索フレームワークである HippoRAG を紹介します。これにより、新しい経験に対するより深く、より効率的な知識の統合が可能になります。
HippoRAG は、LLM、ナレッジ グラフ、およびパーソナライズされた PageRank アルゴリズムを相乗的に調整し、人間の記憶における新皮質と海馬のさまざまな役割を模倣します。
マルチホップ質問応答に関して HippoRAG と既存の RAG 手法を比較し、我々の手法が最先端の手法よりも最大 20% 顕著に優れていることを示します。
HippoRAG を使用したシングルステップ取得は、IRCoT のような反復取得と同等以上のパフォーマンスを達成しながら、10 ～ 30 倍安価で 6 ～ 13 倍高速であり、HippoRAG を IRCoT に統合することで、さらに大幅な利益がもたらされます。
最後に、私たちの方法が既存の方法では手の届かない新しいタイプのシナリオに対処できることを示します。
コードとデータは https://github.com/OSU-NLP-Group/HippoRAG で入手できます。

要約(オリジナル)

In order to thrive in hostile and ever-changing natural environments, mammalian brains evolved to store large amounts of knowledge about the world and continually integrate new information while avoiding catastrophic forgetting. Despite the impressive accomplishments, large language models (LLMs), even with retrieval-augmented generation (RAG), still struggle to efficiently and effectively integrate a large amount of new experiences after pre-training. In this work, we introduce HippoRAG, a novel retrieval framework inspired by the hippocampal indexing theory of human long-term memory to enable deeper and more efficient knowledge integration over new experiences. HippoRAG synergistically orchestrates LLMs, knowledge graphs, and the Personalized PageRank algorithm to mimic the different roles of neocortex and hippocampus in human memory. We compare HippoRAG with existing RAG methods on multi-hop question answering and show that our method outperforms the state-of-the-art methods remarkably, by up to 20%. Single-step retrieval with HippoRAG achieves comparable or better performance than iterative retrieval like IRCoT while being 10-30 times cheaper and 6-13 times faster, and integrating HippoRAG into IRCoT brings further substantial gains. Finally, we show that our method can tackle new types of scenarios that are out of reach of existing methods. Code and data are available at https://github.com/OSU-NLP-Group/HippoRAG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google