LightRAG: Simple and Fast Retrieval-Augmented Generation

要約

検索された生成（RAG）システムは、外部の知識ソースを統合し、ユーザーのニーズに合わせたより正確で文脈的に関連する応答を可能にすることにより、大規模な言語モデル（LLM）を強化します。
ただし、既存のRAGシステムには、フラットデータ表現への依存や不十分なコンテキスト認識など、大きな制限があり、複雑な相互依存関係をキャプチャできない断片化された答えにつながる可能性があります。
これらの課題に対処するために、グラフ構造をテキストインデックスおよび検索プロセスに組み込んだLightragを提案します。
この革新的なフレームワークは、低レベルと高レベルの知識発見の両方から包括的な情報検索を強化するデュアルレベルの検索システムを採用しています。
さらに、グラフ構造とベクトル表現との統合により、関連するエンティティとその関係の効率的な検索が容易になり、コンテキストの関連性を維持しながら応答時間が大幅に改善されます。
この機能は、新しいデータのタイムリーな統合を保証する増分更新アルゴリズムによってさらに強化され、急速に変化するデータ環境でシステムが効果的で応答性を維持できるようにします。
広範な実験的検証は、既存のアプローチと比較して、検索の精度と効率の大幅な改善を示しています。
Lightragをオープンソースにし、リンクで入手できます：https：//github.com/hkuds/lightrag

要約(オリジナル)

Retrieval-Augmented Generation (RAG) systems enhance large language models (LLMs) by integrating external knowledge sources, enabling more accurate and contextually relevant responses tailored to user needs. However, existing RAG systems have significant limitations, including reliance on flat data representations and inadequate contextual awareness, which can lead to fragmented answers that fail to capture complex inter-dependencies. To address these challenges, we propose LightRAG, which incorporates graph structures into text indexing and retrieval processes. This innovative framework employs a dual-level retrieval system that enhances comprehensive information retrieval from both low-level and high-level knowledge discovery. Additionally, the integration of graph structures with vector representations facilitates efficient retrieval of related entities and their relationships, significantly improving response times while maintaining contextual relevance. This capability is further enhanced by an incremental update algorithm that ensures the timely integration of new data, allowing the system to remain effective and responsive in rapidly changing data environments. Extensive experimental validation demonstrates considerable improvements in retrieval accuracy and efficiency compared to existing approaches. We have made our LightRAG open-source and available at the link: https://github.com/HKUDS/LightRAG

arxiv情報

提供元, 利用サービス

arxiv.jp, Google