Graph Neural Prompting with Large Language Models

要約

大規模言語モデル (LLM) は、さまざまな言語モデリング タスクにおいて優れたパフォーマンスを備えた顕著な一般化機能を示しています。
ただし、根拠のある知識を正確に取得して返すことには依然として固有の限界があります。
既存の研究では、ナレッジ グラフ (KG) を利用して、共同トレーニングやカスタマイズされたモデル アーキテクチャを介して言語モデリングを強化することが検討されてきましたが、これを LLM に適用することには、パラメーターの数が多く、計算コストが高いため問題があります。
したがって、例えば検索拡張生成など、根拠のある知識を使用して事前トレーニングされた LLM を強化する方法は未解決の問題のままです。
この研究では、事前トレーニングを受けた LLM が KG から有益な知識を学ぶのを支援する新しいプラグアンドプレイ手法であるグラフ ニューラル プロンプティング (GNP) を提案します。
GNP には、標準グラフ ニューラル ネットワーク エンコーダー、クロスモダリティ プーリング モジュール、ドメイン プロジェクター、自己監視型リンク予測目標など、さまざまな設計が含まれています。
複数のデータセットに対する広範な実験により、さまざまな LLM サイズと設定にわたる常識的推論タスクと生物医学的推論タスクの両方において GNP の優位性が実証されました。
コードは https://github.com/meettyj/GNP で入手できます。

要約(オリジナル)

Large language models (LLMs) have shown remarkable generalization capability with exceptional performance in various language modeling tasks. However, they still exhibit inherent limitations in precisely capturing and returning grounded knowledge. While existing work has explored utilizing knowledge graphs (KGs) to enhance language modeling via joint training and customized model architectures, applying this to LLMs is problematic owing to their large number of parameters and high computational cost. Therefore, how to enhance pre-trained LLMs using grounded knowledge, e.g., retrieval-augmented generation, remains an open question. In this work, we propose Graph Neural Prompting (GNP), a novel plug-and-play method to assist pre-trained LLMs in learning beneficial knowledge from KGs. GNP encompasses various designs, including a standard graph neural network encoder, a cross-modality pooling module, a domain projector, and a self-supervised link prediction objective. Extensive experiments on multiple datasets demonstrate the superiority of GNP on both commonsense and biomedical reasoning tasks across different LLM sizes and settings. Code is available at https://github.com/meettyj/GNP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google