Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph

要約

大規模言語モデル (LLM) はさまざまなタスクで大きな成功を収めていますが、特に深く責任ある推論が必要なシナリオでは、幻覚の問題に悩まされることがよくあります。
これらの問題は、LLM 推論に外部ナレッジ グラフ (KG) を導入することで部分的に解決できる可能性があります。
この論文では、LLM をエージェントとして扱い、関連するエンティティと KG 上の関係を対話的に探索し、推論を実行する、新しい LLM-KG 統合パラダイム「$\hbox{LLM}\otimes\hbox{KG}$」を提案します。
得られた知識に基づいて。
Think-on-Graph (ToG) と呼ばれる新しいアプローチを導入することで、このパラダイムをさらに実装します。このアプローチでは、LLM エージェントが KG でビーム検索を繰り返し実行し、最も有望な推論パスを発見し、最も可能性の高い推論結果を返します。
私たちは、適切に設計された多くの実験を使用して、ToG の次の利点を調べて説明します。 1) LLM と比較して、ToG は深い推論能力に優れています。
2) ToG は、LLM の推論と専門家のフィードバックを活用することにより、知識の追跡可能性と知識の修正可能性を備えています。
3) ToG は、追加のトレーニング費用をかけずに、さまざまな LLM、KG、およびプロンプト戦略に柔軟なプラグアンドプレイ フレームワークを提供します。
4) 小規模な LLM モデルを使用した ToG のパフォーマンスは、特定のシナリオでは GPT-4 などの大規模な LLM を超える可能性があり、これにより LLM の展開とアプリケーションのコストが削減されます。
ToG は、計算コストが低く汎用性が高いトレーニング不要の手法として、以前の SOTA のほとんどが追加トレーニングに依存していた 9 つのデータセットのうち 6 つで全体的な SOTA を達成します。

要約(オリジナル)

Although large language models (LLMs) have achieved significant success in various tasks, they often struggle with hallucination problems, especially in scenarios requiring deep and responsible reasoning. These issues could be partially addressed by introducing external knowledge graphs (KG) in LLM reasoning. In this paper, we propose a new LLM-KG integrating paradigm “$\hbox{LLM}\otimes\hbox{KG}$” which treats the LLM as an agent to interactively explore related entities and relations on KGs and perform reasoning based on the retrieved knowledge. We further implement this paradigm by introducing a new approach called Think-on-Graph (ToG), in which the LLM agent iteratively executes beam search on KG, discovers the most promising reasoning paths, and returns the most likely reasoning results. We use a number of well-designed experiments to examine and illustrate the following advantages of ToG: 1) compared with LLMs, ToG has better deep reasoning power; 2) ToG has the ability of knowledge traceability and knowledge correctability by leveraging LLMs reasoning and expert feedback; 3) ToG provides a flexible plug-and-play framework for different LLMs, KGs and prompting strategies without any additional training cost; 4) the performance of ToG with small LLM models could exceed large LLM such as GPT-4 in certain scenarios and this reduces the cost of LLM deployment and application. As a training-free method with lower computational cost and better generality, ToG achieves overall SOTA in 6 out of 9 datasets where most previous SOTAs rely on additional training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google