GraSAME: Injecting Token-Level Structural Information to Pretrained Language Models via Graph-guided Self-Attention Mechanism

要約

事前トレーニング済み言語モデル (PLM) は、さまざまな下流タスクのグラフ構造に保存された外部知識から恩恵を受けます。
ただし、グラフ構造とテキストの間のモダリティのギャップを埋めることは依然として大きな課題です。
PLM のグラフの線形化などの従来の方法では重要なグラフの接続性が失われますが、グラフ ニューラル ネットワーク (GNN) では PLM に統合するために面倒なプロセスが必要です。
この研究では、新しいグラフガイドによる自己注意メカニズム、GraSAME を提案します。
GraSAME は、追加の調整や連結作業を必要とせずに、トークンレベルの構造情報を PLM にシームレスに組み込みます。
エンドツーエンドの軽量マルチモーダル モジュールとして、GraSAME はマルチタスク学習戦略に従い、グラフとテキスト モダリティ間のギャップを効果的に橋渡しし、GNN と PLM 間の動的な相互作用を促進します。
グラフからテキストへの生成タスクに関する実験では、GraSAME がベースライン モデルを上回り、WebNLG データセット上の最先端 (SOTA) モデルに匹敵する結果が得られることが実証されました。
さらに、SOTA モデルと比較して、GraSAME はグラフ入力を調整するための追加の事前トレーニング タスクの必要性を排除し、トレーニング可能なパラメーターの数を 1 億以上削減します。

要約(オリジナル)

Pretrained Language Models (PLMs) benefit from external knowledge stored in graph structures for various downstream tasks. However, bridging the modality gap between graph structures and text remains a significant challenge. Traditional methods like linearizing graphs for PLMs lose vital graph connectivity, whereas Graph Neural Networks (GNNs) require cumbersome processes for integration into PLMs. In this work, we propose a novel graph-guided self-attention mechanism, GraSAME. GraSAME seamlessly incorporates token-level structural information into PLMs without necessitating additional alignment or concatenation efforts. As an end-to-end, lightweight multimodal module, GraSAME follows a multi-task learning strategy and effectively bridges the gap between graph and textual modalities, facilitating dynamic interactions between GNNs and PLMs. Our experiments on the graph-to-text generation task demonstrate that GraSAME outperforms baseline models and achieves results comparable to state-of-the-art (SOTA) models on WebNLG datasets. Furthermore, compared to SOTA models, GraSAME eliminates the need for extra pre-training tasks to adjust graph inputs and reduces the number of trainable parameters by over 100 million.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google