Think-on-Graph: Deep and Responsible Reasoning of Large Language Model with Knowledge Graph

要約

大規模言語モデル (LLM) はさまざまなタスクで大幅な進歩を遂げていますが、複雑な推論に苦労することが多く、知識のトレーサビリティ、適時性、正確性が重要なシナリオではパフォーマンスが低下します。
これらの制限に対処するために、ナレッジ グラフを活用して LLM の深く責任ある推論の能力を強化する新しいフレームワークである Think-on-Graph (ToG) を紹介します。
ToG を採用することで、特定の質問に関連するエンティティを特定し、外部の知識データベースから関連するトリプルを取得するための探索と推論を実行できます。
この反復手順により、質問に答えるのに十分な情報が収集されるか、最大の深さに達するまで、連続的に接続されたトリプレットで構成される複数の推論経路が生成されます。
複雑なマルチホップ推論の質問応答タスクの実験を通じて、ToG が既存の方法よりも優れており、追加のトレーニング コストをかけることなく、前述の LLM の制限に効果的に対処できることを実証しました。

要約(オリジナル)

Large language models (LLMs) have made significant strides in various tasks, yet they often struggle with complex reasoning and exhibit poor performance in scenarios where knowledge traceability, timeliness, and accuracy are crucial. To address these limitations, we present Think-on-Graph (ToG), a novel framework that leverages knowledge graphs to enhance LLMs’ ability for deep and responsible reasoning. By employing ToG, we can identify entities relevant to a given question and conduct exploration and reasoning to retrieve related triples from an external knowledge database. This iterative procedure generates multiple reasoning pathways consisting of sequentially connected triplets until sufficient information is gathered to answer the question or the maximum depth is reached. Through experiments on complex multi-hop reasoning question-answering tasks, we demonstrate that ToG outperforms existing methods, effectively addressing the aforementioned limitations of LLMs without incurring additional training costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google