Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting

要約

事実の知識をナレッジ グラフに組み込むことは、大規模言語モデル (LLM) の幻覚を軽減するための有望なアプローチと見なされています。
既存の方法は通常、ナレッジ グラフをクエリするためにユーザーの入力のみを使用するため、推論プロセス中に LLM によって生成される事実上の幻覚に対処できません。
この問題に対処するために、この論文はナレッジ グラフベースのレトロフィット (KGR) を提案します。これは、LLM と KG を組み込んで、KG に保存された事実知識に基づいて LLM の最初の応答草案を改良することにより、推論プロセス中の事実の幻覚を軽減する新しいフレームワークです。
具体的には、KGR は LLM を利用して、モデルが生成した応答内の事実に基づく記述を抽出、選択、検証、修正することで、追加の手動作業を行わずに自律的な知識の検証と洗練の手順を可能にします。
実験では、特に複雑な推論プロセスが関与する場合に、KGR が事実に基づく QA ベンチマークで LLM のパフォーマンスを大幅に向上できることが示されており、幻覚を軽減し、LLM の信頼性を高める上での KGR の必要性と有効性が実証されています。

要約(オリジナル)

Incorporating factual knowledge in knowledge graph is regarded as a promising approach for mitigating the hallucination of large language models (LLMs). Existing methods usually only use the user’s input to query the knowledge graph, thus failing to address the factual hallucination generated by LLMs during its reasoning process. To address this problem, this paper proposes Knowledge Graph-based Retrofitting (KGR), a new framework that incorporates LLMs with KGs to mitigate factual hallucination during the reasoning process by retrofitting the initial draft responses of LLMs based on the factual knowledge stored in KGs. Specifically, KGR leverages LLMs to extract, select, validate, and retrofit factual statements within the model-generated responses, which enables an autonomous knowledge verifying and refining procedure without any additional manual efforts. Experiments show that KGR can significantly improve the performance of LLMs on factual QA benchmarks especially when involving complex reasoning processes, which demonstrates the necessity and effectiveness of KGR in mitigating hallucination and enhancing the reliability of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google