KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning

要約

次のトークン予測によって事前トレーニングされた自己回帰大規模言語モデル (LLM) は、本質的に生成タスクに優れています。
しかし、事実に関する知識のクエリなどの知識主導型タスクにおけるパフォーマンスは依然として満足のいくものではありません。
ナレッジ グラフ (KG) は、高品質で構造化された知識ベースとして、LLM に信頼できる知識を提供し、知識の不足を補う可能性があります。
LLM を KG からの明示的で構造化された知識と調整することは、課題でした。
以前の試みでは、知識表現を効果的に調整できなかったか、LLM の生成機能が損なわれ、最適とは言えない結果が生じました。
この論文は、\textit{知識整合言語モデリング} アプローチである \textbf{KaLM} を提案します。これは、明示的知識の整合性と暗黙的知識の整合性という共同の目的を通じて、自己回帰 LLM を微調整して KG の知識と整合させるものです。
明示的知識の調整目標は、デュアルビューの知識グラフの対比学習を通じて LLM の知識表現を直接最適化することを目的としています。
暗黙的知識調整の目的は、トリプル補完言語モデリングを通じて知識のテキスト パターンを LLM に組み込むことに焦点を当てています。
特に、私たちの方法は、ナレッジ駆動型タスク、特に埋め込みベースのナレッジ グラフ補完と生成ベースのナレッジ グラフ質問応答の評価において大幅なパフォーマンス向上を達成します。

要約(オリジナル)

Autoregressive large language models (LLMs) pre-trained by next token prediction are inherently proficient in generative tasks. However, their performance on knowledge-driven tasks such as factual knowledge querying remains unsatisfactory. Knowledge graphs (KGs), as high-quality structured knowledge bases, can provide reliable knowledge for LLMs, potentially compensating for their knowledge deficiencies. Aligning LLMs with explicit, structured knowledge from KGs has been a challenge; previous attempts either failed to effectively align knowledge representations or compromised the generative capabilities of LLMs, leading to less-than-optimal outcomes. This paper proposes \textbf{KaLM}, a \textit{Knowledge-aligned Language Modeling} approach, which fine-tunes autoregressive LLMs to align with KG knowledge via the joint objective of explicit knowledge alignment and implicit knowledge alignment. The explicit knowledge alignment objective aims to directly optimize the knowledge representation of LLMs through dual-view knowledge graph contrastive learning. The implicit knowledge alignment objective focuses on incorporating textual patterns of knowledge into LLMs through triple completion language modeling. Notably, our method achieves a significant performance boost in evaluations of knowledge-driven tasks, specifically embedding-based knowledge graph completion and generation-based knowledge graph question answering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google