Fast Think-on-Graph: Wider, Deeper and Faster Reasoning of Large Language Model on Knowledge Graph

要約

Graph Retrieval Augmented Generation（grag）は、ナイーブラグシステムをナイーブラグシステムに、知識グラフ（KG）などのグラフ情報を大規模な言語モデル（LLM）に統合して幻覚を緩和することにより、さらに一歩進んだ新しいパラダイムです。
ただし、既存のグラグは依然として制限に遭遇します。1）単純なパラダイムは通常、KGSからの狭い浅い相関のために複雑な問題で失敗します2）KGとの強い結合の方法は、グラフが密度が高い場合、高い計算コストと時間がかかる傾向があります
。
この論文では、LLMがKGS内で「コミュニティごとにコミュニティ」を考えることを可能にするための革新的なパラダイムであるFast Think-on-Graph（FastTog）を提案します。
これを行うために、FastTogは、より深い相関キャプチャと2つの段階のコミュニティ剪定のためにコミュニティ検出を採用しています。
さらに、LLMによるより良い理解のために、コミュニティのグラフ構造をテキスト形式に変換するための2つのコミュニティからテキストへの方法も開発しています。
実験結果は、FastTogの有効性を示し、以前の作品と比較して、より高い精度、より速い推論、およびより良い説明可能性を示しています。

要約(オリジナル)

Graph Retrieval Augmented Generation (GRAG) is a novel paradigm that takes the naive RAG system a step further by integrating graph information, such as knowledge graph (KGs), into large-scale language models (LLMs) to mitigate hallucination. However, existing GRAG still encounter limitations: 1) simple paradigms usually fail with the complex problems due to the narrow and shallow correlations capture from KGs 2) methods of strong coupling with KGs tend to be high computation cost and time consuming if the graph is dense. In this paper, we propose the Fast Think-on-Graph (FastToG), an innovative paradigm for enabling LLMs to think “community by community’ within KGs. To do this, FastToG employs community detection for deeper correlation capture and two stages community pruning – coarse and fine pruning for faster retrieval. Furthermore, we also develop two Community-to-Text methods to convert the graph structure of communities into textual form for better understanding by LLMs. Experimental results demonstrate the effectiveness of FastToG, showcasing higher accuracy, faster reasoning, and better explainability compared to the previous works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google