Large Language Model Meets Graph Neural Network in Knowledge Distillation

要約

テキスト属性グラフ (TAG) の理解における大規模言語モデル (LLM) の進歩と可能性に関する最近のコミュニティの暴露にもかかわらず、本番環境への LLM の導入は、高い計算要件とストレージ要件、および推論中の長い待ち時間によって妨げられています。
同時に、従来のグラフ ニューラル ネットワーク (GNN) は軽量で、グラフの構造的特徴の学習には優れていますが、TAG 内の複雑なセマンティクスを把握する能力は、実際のアプリケーションでは多少制限されます。
これらの制限に対処するために、我々は TAG のノード分類の下流タスクに焦点を当て、知識蒸留のための教師モデルとして LLM を使用し、生徒モデルとして GNN を使用する、言語グラフ知識蒸留 (LinguGKD) と呼ばれる新しいグラフ知識蒸留フレームワークを提案します。
これには、設計されたノード分類プロンプトでの LLM の TAG 指向の命令調整が含まれます。その後、レイヤ適応対照学習戦略を使用して、教師 LLM と生徒 GNN の階層的に学習されたノード特徴を潜在空間で調整します。
提案された LinguGKD は、さまざまな LLM および GNN モデルと複数のベンチマーク データセットに関する広範な実験を通じて、追加のデータやモデル パラメーターを必要とせずに、スチューデント GNN の予測精度と収束率を大幅に向上させます。
教師 LLM と比較して、蒸留 GNN は、一部のベンチマーク データセットで教師 LLM の分類パフォーマンスを上回り、はるかに少ないコンピューティングとストレージの需要で優れた推論速度を実現します。

要約(オリジナル)

Despite recent community revelations about the advancements and potential of Large Language Models (LLMs) in understanding Text-Attributed Graphs (TAG), the deployment of LLMs for production is hindered by their high computational and storage requirements, as well as long latencies during inference. Simultaneously, although traditional Graph Neural Networks (GNNs) are light weight and adept at learning structural features of graphs, their ability to grasp the complex semantics in TAGs is somewhat constrained for real applications. To address these limitations, we concentrate on the downstream task of node classification in TAG and propose a novel graph knowledge distillation framework, termed Linguistic Graph Knowledge Distillation (LinguGKD), using LLMs as teacher models and GNNs as student models for knowledge distillation. It involves TAG-oriented instruction tuning of LLM on designed node classification prompts, followed by aligning the hierarchically learned node features of the teacher LLM and the student GNN in latent space, employing a layer-adaptive contrastive learning strategy. Through extensive experiments on a variety of LLM and GNN models and multiple benchmark datasets, the proposed LinguGKD significantly boosts the student GNN’s predictive accuracy and convergence rate, without the need of extra data or model parameters. Compared to teacher LLM, distilled GNN achieves superior inference speed equipped with much fewer computing and storage demands, when surpassing the teacher LLM’s classification performance on some of benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google