Unlock the Power of Frozen LLMs in Knowledge Graph Completion

要約

従来のナレッジ グラフ補完 (KGC) 手法は構造情報のみに依存しており、ナレッジ グラフ (KG) の固有のスパーシティに悩まされています。
大規模言語モデル (LLM) は、強力なコンテキスト モデリングを使用して大規模なコーパスから広範な知識を学習します。これは、以前の方法の制限を軽減するのに理想的です。
LLM を直接微調整すると優れた機能が得られますが、膨大な時間とメモリ消費が犠牲になります。また、凍結された LLM を利用すると最適とはいえない結果が得られます。
この作業では、KGC に LLM を効果的かつ効率的に活用することを目指しています。
LLM の中間層を刺激するプロンプトを使用することで、知識トリプルのコンテキストを認識した隠れた状態を捕捉します。
次に、KGC の凍結 LLM の固有の機能を活用するために、これらの隠れた状態でデータ効率の高い分類器をトレーニングします。
また、KG のサブグラフ サンプリングを使用してエンティティ記述を生成し、トリプレットの曖昧さを軽減し、知識表現を強化します。
標準ベンチマークに関する広範な実験により、当社のアプローチの効率と有効性が実証されています。
当社は、ほとんどのデータセットで従来の KGC 手法を上回り、微調整された LLM のパフォーマンスに匹敵します。
さらに、微調整された LLM と比較して、GPU メモリ効率が \textbf{$188\times$} 向上し、トレーニング + 推論が \textbf{$13.48\times$} 高速化されます。

要約(オリジナル)

Classical knowledge graph completion (KGC) methods rely solely on structural information, struggling with the inherent sparsity of knowledge graphs (KGs). Large Language Models (LLMs) learn extensive knowledge from large corpora with powerful context modeling, which is ideal for mitigating the limitations of previous methods. Directly fine-tuning LLMs offers great capability but comes at the cost of huge time and memory consumption, while utilizing frozen LLMs yields suboptimal results. In this work, we aim to leverage LLMs for KGC effectively and efficiently. We capture the context-aware hidden states of knowledge triples by employing prompts to stimulate the intermediate layers of LLMs. We then train a data-efficient classifier on these hidden states to harness the inherent capabilities of frozen LLMs in KGC. We also generate entity descriptions with subgraph sampling on KGs, reducing the ambiguity of triplets and enriching the knowledge representation. Extensive experiments on standard benchmarks showcase the efficiency and effectiveness of our approach. We outperform classical KGC methods on most datasets and match the performance of fine-tuned LLMs. Additionally, compared to fine-tuned LLMs, we boost GPU memory efficiency by \textbf{$188\times$} and speed up training+inference by \textbf{$13.48\times$}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google