MGSA: Multi-granularity Graph Structure Attention for Knowledge Graph-to-Text Generation

要約

ナレッジ グラフからテキストへの生成タスクは、構造化されたナレッジ グラフを、一貫性のある人間が読める自然言語テキストに変換することを目的としています。
この分野における最近の取り組みは、グラフ構造情報を組み込んでナレッジ グラフの複雑な構造の詳細を捕捉することにより、事前トレーニング済み言語モデル (PLM) を強化することに焦点を当てています。
ただし、これらのアプローチのほとんどは、単一粒度の構造情報のみを取得する傾向があり、元のグラフ内のエンティティ間の関係、または同じエンティティ内または異なるエンティティ間の単語間の関係に集中します。
この狭い焦点の結果、重大な制限が生じます。エンティティ レベルの構造のみに焦点を当てたモデルでは、単語間の微妙な意味関係を捉えることができません。一方、単語レベルの構造のみに焦点を当てたモデルでは、元のエンティティ全体間のより広範な関係が見落とされます。
これらの制限を克服するために、このホワイト ペーパーでは、PLM に基づく Multi-granularity Graph Structure Attendant (MGSA) を紹介します。
モデル アーキテクチャのエンコーダーは、エンティティ レベルの構造エンコード モジュール、ワード レベルの構造エンコード モジュール、および両方の構造からの情報を合成する集約モジュールを備えています。
この多粒度の構造エンコード手法により、モデルはエンティティ レベルと単語レベルの両方の構造情報を同時にキャプチャできるようになり、ナレッジ グラフの構造情報をより包括的に理解できるようになり、生成されるテキストの品質が大幅に向上します。
私たちは、広く認知されている 2 つの KG-to-Text Generation ベンチマーク データセット、WebNLG と EventNarrative を使用して MGSA モデルの広範な評価を実施しました。その結果、単一粒度の構造情報のみに依存するモデルよりも一貫して優れたパフォーマンスを示し、私たちのアプローチの有効性が実証されました。

要約(オリジナル)

The Knowledge Graph-to-Text Generation task aims to convert structured knowledge graphs into coherent and human-readable natural language text. Recent efforts in this field have focused on enhancing pre-trained language models (PLMs) by incorporating graph structure information to capture the intricate structure details of knowledge graphs. However, most of these approaches tend to capture only single-granularity structure information, concentrating either on the relationships between entities within the original graph or on the relationships between words within the same entity or across different entities. This narrow focus results in a significant limitation: models that concentrate solely on entity-level structure fail to capture the nuanced semantic relationships between words, while those that focus only on word-level structure overlook the broader relationships between original entire entities. To overcome these limitations, this paper introduces the Multi-granularity Graph Structure Attention (MGSA), which is based on PLMs. The encoder of the model architecture features an entity-level structure encoding module, a word-level structure encoding module, and an aggregation module that synthesizes information from both structure. This multi-granularity structure encoding approach allows the model to simultaneously capture both entity-level and word-level structure information, providing a more comprehensive understanding of the knowledge graph’s structure information, thereby significantly improving the quality of the generated text. We conducted extensive evaluations of the MGSA model using two widely recognized KG-to-Text Generation benchmark datasets, WebNLG and EventNarrative, where it consistently outperformed models that rely solely on single-granularity structure information, demonstrating the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google