Graph Language Models

要約

言語モデル(Language Models: LM)は自然言語処理(NLP)の主力であるが、構造化知識グラフ(Structured Knowledge Graphs: KG)との相互作用は未だに活発に研究されている。このようなグラフを符号化する現在の手法は、(i)LMに埋め込むためにグラフを線形化する（構造情報を十分に利用できない）か、(ii)グラフ構造を保持するためにグラフニューラルネットワーク(GNN)を用いるかのどちらかである。しかし、GNNは事前に学習されたLMではテキストの特徴をうまく表現することができない。本研究では、両アプローチの長所を統合し、短所を緩和した新しいLM、グラフ言語モデル（GLM）を導入する。GLMのパラメータは事前に学習されたLMから初期化され、個々のグラフの概念やトリプレットの理解を強化する。同時に、グラフの偏りを取り込むようにGLMのアーキテクチャを設計することで、グラフ内での効果的な知識分散を促進する。これにより、GLMはグラフ、テキスト、およびその両方のインターリーブ入力を処理することができる。関係分類タスクの経験的評価により、GLM埋め込みは、教師あり設定とゼロショット設定において、LMベースとGNNベースの両方のベースラインを上回ることが示され、その汎用性が実証された。

要約(オリジナル)

While Language Models (LMs) are the workhorses of NLP, their interplay with structured knowledge graphs (KGs) is still actively researched. Current methods for encoding such graphs typically either (i) linearize them for embedding with LMs — which underutilize structural information, or (ii) use Graph Neural Networks (GNNs) to preserve the graph structure — but GNNs cannot represent text features as well as pretrained LMs. In our work we introduce a novel LM type, the Graph Language Model (GLM), that integrates the strengths of both approaches and mitigates their weaknesses. The GLM parameters are initialized from a pretrained LM to enhance understanding of individual graph concepts and triplets. Simultaneously, we design the GLM’s architecture to incorporate graph biases, thereby promoting effective knowledge distribution within the graph. This enables GLMs to process graphs, texts, and interleaved inputs of both. Empirical evaluations on relation classification tasks show that GLM embeddings surpass both LM- and GNN-based baselines in supervised and zero-shot setting, demonstrating their versatility.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL