LUKE-Graph: A Transformer-based Approach with Gated Relational Graph Attention for Cloze-style Reading Comprehension

要約

事前知識を組み込むことで、穴埋めスタイルの機械読み取りで既存の事前トレーニング モデルを改善でき、最近の研究では新しい傾向になっています。
特に、既存のモデルのほとんどは、外部ナレッジ グラフ (KG) と BERT などのトランスフォーマー ベースのモデルを統合されたデータ構造に統合しています。
ただし、KG で最も関連性の高いあいまいなエンティティを選択し、最適なサブグラフを抽出することは依然として課題です。
この論文では、外部のKGを使用せずに、ドキュメント内のエンティティ間の直感的な関係に基づいて異種グラフを構築するモデルであるLUKE-Graphを提案します。
次に、リレーショナル グラフ アテンション (RGAT) ネットワークを使用して、グラフの推論情報と、事前トレーニング済みの LUKE モデルによってエンコードされたコンテキスト表現を融合します。
このようにして、LUKE を利用して、エンティティを意識した表現を導き出すことができます。
およびグラフ モデル – 関係を意識した表現を活用します。
さらに、グラフ畳み込み演算のための質問情報を規制するゲーティングメカニズムでRGATを拡張することにより、Gated-RGATを提案します。
これは、質問情報に基づいて常に最適なエンティティ候補を選択するため、人間の推論処理と非常によく似ています。
実験結果は、LUKE-Graph が ReCoRD データセットに対して常識的な推論で最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Incorporating prior knowledge can improve existing pre-training models in cloze-style machine reading and has become a new trend in recent studies. Notably, most of the existing models have integrated external knowledge graphs (KG) and transformer-based models, such as BERT into a unified data structure. However, selecting the most relevant ambiguous entities in KG and extracting the best subgraph remains a challenge. In this paper, we propose the LUKE-Graph, a model that builds a heterogeneous graph based on the intuitive relationships between entities in a document without using any external KG. We then use a Relational Graph Attention (RGAT) network to fuse the graph’s reasoning information and the contextual representation encoded by the pre-trained LUKE model. In this way, we can take advantage of LUKE, to derive an entity-aware representation; and a graph model – to exploit relation-aware representation. Moreover, we propose Gated-RGAT by augmenting RGAT with a gating mechanism that regulates the question information for the graph convolution operation. This is very similar to human reasoning processing because they always choose the best entity candidate based on the question information. Experimental results demonstrate that the LUKE-Graph achieves state-of-the-art performance on the ReCoRD dataset with commonsense reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google