GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation

要約

KG からテキストへの生成における最近の改善は、微調整タスクのパフォーマンスを向上させるために設計された追加の補助的な事前トレーニング タスクによるものです。
これらのタスクは広範な計算リソースを必要としますが、わずかな改善しか示唆しません。
ここでは、グラフ認識要素を既存の事前トレーニング済み言語モデルに融合することで、最先端のモデルを上回るパフォーマンスを実現し、追加の事前トレーニング タスクによって課せられるギャップを埋めることができることを実証します。
これを行うには、近傍情報を取得するためのマスク構造と、接続タイプに応じてグラフアテンションの重みにバイアスを追加する新しいタイプのエンコーダーを提案します。
2 つの KG からテキストへのベンチマーク データセットでの実験では、パラメーターが少なく、追加の事前トレーニング タスクが必要ないにもかかわらず、モデルが競争力があることがわかりました。
問題をフレームワークとして定式化することで、提案されているさまざまなコンポーネントを交換し、グラフ内にあるトポロジ情報と型情報に基づいて KG からテキストへの生成モデルの解釈を開始できます。

要約(オリジナル)

Recent improvements in KG-to-text generation are due to additional auxiliary pre-training tasks designed to give the fine-tune task a boost in performance. These tasks require extensive computational resources while only suggesting marginal improvements. Here, we demonstrate that by fusing graph-aware elements into existing pre-trained language models, we are able to outperform state-of-the-art models and close the gap imposed by additional pre-training tasks. We do so by proposing a mask structure to capture neighborhood information and a novel type encoder that adds a bias to the graph-attention weights depending on the connection type. Experiments on two KG-to-text benchmark datasets show our models are competitive while involving fewer parameters and no additional pre-training tasks. By formulating the problem as a framework, we can interchange the various proposed components and begin interpreting KG-to-text generative models based on the topological and type information found in a graph.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google