Graph Neural Prompting with Large Language Models

要約

大規模言語モデル (LLM) は、さまざまな言語モデリング タスクにおいて優れたパフォーマンスを備えた顕著な一般化機能を示しています。
ただし、根拠のある知識を正確に取得して返すことには依然として固有の限界があります。
既存の研究では、ナレッジ グラフを利用して、共同トレーニングやカスタマイズされたモデル アーキテクチャを通じて言語モデリングを強化することが検討されてきましたが、これを LLM に適用することには、パラメーターの数が多く、計算コストが高いため問題があります。
さらに、事前トレーニングされた LLM を活用し、カスタマイズされたモデルを最初からトレーニングすることを回避する方法は未解決の問題のままです。
この研究では、事前トレーニングを受けた LLM が KG から有益な知識を学ぶのを支援する新しいプラグアンドプレイ手法であるグラフ ニューラル プロンプティング (GNP) を提案します。
GNP には、標準グラフ ニューラル ネットワーク エンコーダー、クロスモダリティ プーリング モジュール、ドメイン プロジェクター、自己監視型リンク予測目標など、さまざまな設計が含まれています。
複数のデータセットに対する広範な実験により、さまざまな LLM サイズと設定にわたる常識的推論タスクと生物医学的推論タスクの両方において GNP の優位性が実証されました。

要約(オリジナル)

Large Language Models (LLMs) have shown remarkable generalization capability with exceptional performance in various language modeling tasks. However, they still exhibit inherent limitations in precisely capturing and returning grounded knowledge. While existing work has explored utilizing knowledge graphs to enhance language modeling via joint training and customized model architectures, applying this to LLMs is problematic owing to their large number of parameters and high computational cost. In addition, how to leverage the pre-trained LLMs and avoid training a customized model from scratch remains an open question. In this work, we propose Graph Neural Prompting (GNP), a novel plug-and-play method to assist pre-trained LLMs in learning beneficial knowledge from KGs. GNP encompasses various designs, including a standard graph neural network encoder, a cross-modality pooling module, a domain projector, and a self-supervised link prediction objective. Extensive experiments on multiple datasets demonstrate the superiority of GNP on both commonsense and biomedical reasoning tasks across different LLM sizes and settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google