Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling

要約

近年、代表的な大規模言語モデル (LLM) である ChatGPT は、その強力な創発能力により大きな注目を集めています。
一部の研究者は、LLM がナレッジ グラフ (KG) のような構造化された知識ベースを置き換え、パラメーター化された知識ベースとして機能する可能性があると示唆しています。
ただし、LLM は大規模なコーパスに基づいて確率的言語パターンを学習し、人間と会話することに熟達していますが、以前の小規模な事前トレーニング済み言語モデル (PLM) と同様に、知識に基づいたコンテンツを生成しながら事実を思い出すことは依然として困難です。
これらの制限を克服するために、研究者らは、知識ベースの KG を使用してデータ駆動型 PLM を強化し、明示的な事実知識を PLM に組み込むことで、事実知識を必要とするテキストを生成するパフォーマンスを向上させ、ユーザーのクエリに対してより多くの情報に基づいた応答を提供することを提案しています。
このペーパーでは、KG を使用した PLM の強化に関する研究をレビューし、既存のナレッジ グラフ拡張事前トレーニング済み言語モデル (KGPLM) とそのアプリケーションについて詳しく説明します。
この論文は、KGPLM に関する既存の研究に触発され、ナレッジ グラフ拡張大規模言語モデル (KGLLM) を開発することによって、KG を使用して LLM を強化することを提案します。
KGLLM は、LLM の事実推論能力を強化するソリューションを提供し、LLM 研究に新たな道を切り開きます。

要約(オリジナル)

Recently, ChatGPT, a representative large language model (LLM), has gained considerable attention due to its powerful emergent abilities. Some researchers suggest that LLMs could potentially replace structured knowledge bases like knowledge graphs (KGs) and function as parameterized knowledge bases. However, while LLMs are proficient at learning probabilistic language patterns based on large corpus and engaging in conversations with humans, they, like previous smaller pre-trained language models (PLMs), still have difficulty in recalling facts while generating knowledge-grounded contents. To overcome these limitations, researchers have proposed enhancing data-driven PLMs with knowledge-based KGs to incorporate explicit factual knowledge into PLMs, thus improving their performance to generate texts requiring factual knowledge and providing more informed responses to user queries. This paper reviews the studies on enhancing PLMs with KGs, detailing existing knowledge graph enhanced pre-trained language models (KGPLMs) as well as their applications. Inspired by existing studies on KGPLM, this paper proposes to enhance LLMs with KGs by developing knowledge graph-enhanced large language models (KGLLMs). KGLLM provides a solution to enhance LLMs’ factual reasoning ability, opening up new avenues for LLM research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google