Efficient Tuning and Inference for Large Language Models on Textual Graphs

要約

テキスト グラフの豊富なテキスト情報とトポロジー情報は、Web ページ、電子商取引、学術論文などの実世界のアプリケーションでモデル化する必要があります。
専門家は、この問題を解決するために、シャロー テキスト エンコーダーとそれに続くグラフ ニューラル ネットワーク (GNN) を採用する道を長い間たどってきました。
大規模言語モデル (LLM) の最近の進歩を考慮すると、テキスト エンコーディングを強化するために LLM を統合すると、テキスト グラフのパフォーマンスが大幅に向上することが明らかです。
それにもかかわらず、これらの方法の効率性には大きな課題があります。
この論文では、LLM エンコーダを使用したテキスト グラフのパラメータ効率とメモリ効率の高い微調整方法である ENGINE を提案します。
重要な洞察は、調整可能なサイド構造を通じて LLM と GNN を組み合わせることであり、これにより、結合モデルの能力を損なうことなくトレーニングの複雑さが大幅に軽減されます。
テキストグラフに関する広範な実験により、以前の方法と比較してトレーニングコストが最も低くなりながら、最高のモデルパフォーマンスを達成することにより、私たちの方法の有効性が実証されました。
さらに、トレーニングと推論の速度をさらに向上させるために、キャッシュと動的早期終了を備えた 2 つのバリアントを導入します。
具体的には、キャッシュにより ENGINE のトレーニングが 12 倍高速化され、動的な早期終了により、パフォーマンスの低下が無視できる程度 (7 つのデータセット全体で最大 1.17% の関連低下) で最大 5 倍の高速な推論が達成されます。
コードは https://github.com/ZhuYun97/ENGINE で入手できます。

要約(オリジナル)

Rich textual and topological information of textual graphs need to be modeled in real-world applications such as webpages, e-commerce, and academic articles. Practitioners have been long following the path of adopting a shallow text encoder and a subsequent graph neural network (GNN) to solve this problem. In light of recent advancements in large language models (LLMs), it is apparent that integrating LLMs for enhanced textual encoding can substantially improve the performance of textual graphs. Nevertheless, the efficiency of these methods poses a significant challenge. In this paper, we propose ENGINE, a parameter- and memory-efficient fine-tuning method for textual graphs with an LLM encoder. The key insight is to combine the LLMs and GNNs through a tunable side structure, which significantly reduces the training complexity without impairing the joint model’s capacity. Extensive experiments on textual graphs demonstrate our method’s effectiveness by achieving the best model performance, meanwhile having the lowest training cost compared to previous methods. Moreover, we introduce two variants with caching and dynamic early exit to further enhance training and inference speed. Specifically, caching accelerates ENGINE’s training by 12x, and dynamic early exit achieves up to 5x faster inference with a negligible performance drop (at maximum 1.17% relevant drop across 7 datasets). Our codes are available at: https://github.com/ZhuYun97/ENGINE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google