Unifying Large Language Models and Knowledge Graphs: A Roadmap

要約

ChatGPT や GPT4 などの大規模言語モデル (LLM) は、その新たな能力と一般化可能性により、自然言語処理と人工知能の分野で新たな波を起こしています。
ただし、LLM はブラックボックス モデルであり、多くの場合、事実の知識を取得してアクセスするには不十分です。
対照的に、ナレッジ グラフ (KG)、Wikipedia、Huapu などは、豊富な事実知識を明示的に保存する構造化された知識モデルです。
KG は、推論と解釈可能性のための外部知識を提供することで LLM を強化できます。
一方、KG は本質的に構築と進化が難しく、新しい事実を生成し、目に見えない知識を表現するという KG の既存の方法に挑戦します。
したがって、LLM と KG を統合し、同時にそれらの利点を活用することは補完的です。
この記事では、LLM と KG の統合に向けた将来を見据えたロードマップを示します。
私たちのロードマップは 3 つの一般的なフレームワークで構成されています。1) KG 強化 LLM。LLM の事前トレーニングおよび推論フェーズ中に、または LLM によって学習された知識の理解を強化する目的で KG を組み込みます。
2) LLM 拡張 KG。埋め込み、補完、構築、グラフからテキストの生成、質問応答などのさまざまな KG タスクに LLM を利用します。
3) LLM と KG の相乗型。LLM と KG が同等の役割を果たし、データと知識の両方によって駆動される双方向推論のために LLM と KG の両方を強化するために相互に有益な方法で機能します。
私たちはロードマップのこれら 3 つの枠組み内で既存の取り組みをレビューおよび要約し、将来の研究の方向性を正確に示します。

要約(オリジナル)

Large language models (LLMs), such as ChatGPT and GPT4, are making new waves in the field of natural language processing and artificial intelligence, due to their emergent ability and generalizability. However, LLMs are black-box models, which often fall short of capturing and accessing factual knowledge. In contrast, Knowledge Graphs (KGs), Wikipedia and Huapu for example, are structured knowledge models that explicitly store rich factual knowledge. KGs can enhance LLMs by providing external knowledge for inference and interpretability. Meanwhile, KGs are difficult to construct and evolving by nature, which challenges the existing methods in KGs to generate new facts and represent unseen knowledge. Therefore, it is complementary to unify LLMs and KGs together and simultaneously leverage their advantages. In this article, we present a forward-looking roadmap for the unification of LLMs and KGs. Our roadmap consists of three general frameworks, namely, 1) KG-enhanced LLMs, which incorporate KGs during the pre-training and inference phases of LLMs, or for the purpose of enhancing understanding of the knowledge learned by LLMs; 2) LLM-augmented KGs, that leverage LLMs for different KG tasks such as embedding, completion, construction, graph-to-text generation, and question answering; and 3) Synergized LLMs + KGs, in which LLMs and KGs play equal roles and work in a mutually beneficial way to enhance both LLMs and KGs for bidirectional reasoning driven by both data and knowledge. We review and summarize existing efforts within these three frameworks in our roadmap and pinpoint their future research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google