Large Language Model Meets Graph Neural Network in Knowledge Distillation

要約

テキスト属性グラフ (TAG) の理解における大規模言語モデル (LLM) の進歩と応用の可能性に関する最近のコミュニティの暴露にもかかわらず、実稼働環境への LLM の展開は、その高い計算要件とストレージ要件、およびモデル中の長い待ち時間によって妨げられています。
推論。
同時に、従来のグラフ ニューラル ネットワーク (GNN) は軽量で、グラフの構造的特徴の学習には優れていますが、TAG の複雑なセマンティクスを把握する能力は、実際のアプリケーションでは多少制限されます。
これらの制限に対処するために、我々は TAG のノード分類の下流タスクに焦点を当て、知識蒸留のための教師モデルとして LLM を使用し、生徒モデルとして GNN を使用する、言語グラフ知識蒸留 (LinguGKD) と呼ばれる新しいグラフ知識蒸留フレームワークを提案します。
これには、設計された調整されたプロンプトでの LLM の TAG 指向の命令調整が含まれます。その後、層適応型の対照学習戦略を使用して、知識を伝播し、階層的に学習されたノードの特徴を教師 LLM から生徒 GNN に潜在空間で調整します。
提案された LinguGKD は、さまざまな LLM および GNN モデルと複数のベンチマーク データセットに関する広範な実験を通じて、追加のデータやモデル パラメーターを必要とせずに、スチューデント GNN の予測精度と収束率を大幅に向上させます。
教師 LLM と比較して、蒸留 GNN は、一部のベンチマーク データセットで教師 LLM の分類精度を上回り、はるかに少ないコンピューティングとストレージの需要で優れた推論速度を実現します。

要約(オリジナル)

Despite recent community revelations about the advancements and potential applications of Large Language Models (LLMs) in understanding Text-Attributed Graph (TAG), the deployment of LLMs for production is hindered by its high computational and storage requirements, as well as long latencies during model inference. Simultaneously, although traditional Graph Neural Networks (GNNs) are light weight and adept at learning structural features of graphs, their ability to grasp the complex semantics in TAG is somewhat constrained for real applications. To address these limitations, we concentrate on the downstream task of node classification in TAG and propose a novel graph knowledge distillation framework, termed Linguistic Graph Knowledge Distillation (LinguGKD), using LLMs as teacher models and GNNs as student models for knowledge distillation. It involves TAG-oriented instruction tuning of LLM on designed tailored prompts, followed by propagating knowledge and aligning the hierarchically learned node features from the teacher LLM to the student GNN in latent space, employing a layer-adaptive contrastive learning strategy. Through extensive experiments on a variety of LLM and GNN models and multiple benchmark datasets, the proposed LinguGKD significantly boosts the student GNN’s predictive accuracy and convergence rate, without the need of extra data or model parameters. Compared to teacher LLM, distilled GNN achieves superior inference speed equipped with much fewer computing and storage demands, when surpassing the teacher LLM’s classification accuracy on some of benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google