Graph Masked Language Models

要約

言語モデル（LMS）とグラフニューラルネットワーク（GNNS）は、それぞれの領域で大きな期待を示していますが、構造化されたグラフデータを豊富なテキスト情報と統合することは依然として困難です。
この作業では、GNNの構造学習と事前処理言語モデルのコンテキストパワーを組み合わせた新しいデュアルブランチアーキテクチャである\ emph {グラフマスク言語モデル}（GMLM）を提案します。
私たちのアプローチでは、2つの重要なイノベーションを導入します。（i）a \ emphince {semanticマスキング戦略}グラフトポロジーを活用して構造的重要性に基づいて選択的にマスクをマスクすること、および（ii）a \ emphe {ソフトマスキングメカニズム}は、元のノード機能と学習可能なマスクトークンの間を補間し、トレーニング中にスムーのある情報の流れを確保します。
複数のノード分類と言語理解ベンチマークに関する広範な実験は、GMLMが最先端のパフォーマンスを達成するだけでなく、強化された堅牢性と安定性を示すことを示しています。
この作業は、グラフ学習を改善するために構造化されたデータ表現と非構造化データ表現を統合することの利点を強調しています。

要約(オリジナル)

Language Models (LMs) and Graph Neural Networks (GNNs) have shown great promise in their respective areas, yet integrating structured graph data with rich textual information remains challenging. In this work, we propose \emph{Graph Masked Language Models} (GMLM), a novel dual-branch architecture that combines the structural learning of GNNs with the contextual power of pretrained language models. Our approach introduces two key innovations: (i) a \emph{semantic masking strategy} that leverages graph topology to selectively mask nodes based on their structural importance, and (ii) a \emph{soft masking mechanism} that interpolates between original node features and a learnable mask token, ensuring smoother information flow during training. Extensive experiments on multiple node classification and language understanding benchmarks demonstrate that GMLM not only achieves state-of-the-art performance but also exhibits enhanced robustness and stability. This work underscores the benefits of integrating structured and unstructured data representations for improved graph learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google