Enhancing Large Language Models with Pseudo- and Multisource- Knowledge Graphs for Open-ended Question Answering

要約

大規模言語モデルの幻覚を軽減することは極めて重要な課題である。既存の手法の中には、自己強化技術を採用しているものもあるが、未知の事実の幻覚に効果的に対処するには不十分である。一方、知識グラフ（KG）強化のアプローチは、異なるKGソース間の汎化と、自由形式の回答質問の強化を同時に扱うことができない。これらの限界に取り組むために、擬似グラフ生成と原子知識検証（PG&AKV）を組み合わせたフレームワークを提案する。自由形式の質問応答の強化は、関連知識のフレームワークを提供するために擬似グラフ生成を活用することから始まる。その後、原子知識検証は原子レベルの知識問い合わせと検証を利用し、異なるKGソースの下での汎化可能性を達成する。ベースラインと比較して、このアプローチは自由形式の質問に対してROUGE-Lスコアの最小11.5の改善をもたらす。正確に回答された質問に対しては、最小7.5%の精度向上が観察される。さらに、PG&AKVは異なるKGソース間で一般性を示す。質問ソースと異なるKGを利用することで、PGG&AKVは少なくとも3.5%の性能改善を達成することができる。要約すると、我々の結果は、特に自由形式の質問において、擬似KGやマルチソースKGを組み込むことによってLLMを強化する道を開く。

要約(オリジナル)

Mitigating the hallucinations of Large Language Models is a crucial task. Although some existing methods employ self-enhancement techniques, they fall short of effectively addressing unknown factual hallucinations. Meanwhile, Knowledge Graph (KG) enhancement approaches fail to address the generalization across different KG sources and the enhancement of open-ended answer questions simultaneously. To tackle these limitations, we propose a framework that combines Pseudo-Graph Generation and Atomic Knowledge Verification (PG\&AKV). Enhancement of open-ended question-answering begins with leveraging the Pseudo-Graph Generation to provide the related knowledge framework. Subsequently, Atomic Knowledge Verification utilizes atomic-level knowledge querying and verification to achieve generalizability under different KG sources. Compared to the baseline, this approach yields a minimum improvement of 11.5 in the ROUGE-L score for open-ended questions. For precise-answered questions, we observe a minimum accuracy improvement of 7.5%. Moreover, PG\&AKV also exhibits generalizability across different KG sources. Utilizing KG different from the question sources, PG\&AKV can even achieve at least a 3.5 % performance improvement. In summary, our results pave the way for enhancing LLMs by incorporating Pseudo- and Multisource-KGs, particularly in the filed of open-ended questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL