Syntax-Aware Graph-to-Graph Transformer for Semantic Role Labelling

要約

最近のモデルでは、意味役割ラベル付け（SRL）タスクに構文知識を取り入れることで、大幅な改善につながることが示されている。本論文では、グラフ関係を埋め込みとして入力する新しい方法を用いて、構文構造をTransformerの自己注意メカニズムに直接エンコードするSyntax-aware Graph-to-Graph Transformer (SynG2G-Tr) モデルが提案される。このアプローチは、構文構造に従う注意パターンにソフトなバイアスを加えるだけでなく、モデルがこの情報を使って代替パターンを学習することを可能にする。スパンベースと依存ベースのSRLデータセットで本モデルを評価し、CoNLL 2005とCoNLL 2009のデータセットにおいて、ドメイン内とドメイン外の両方で従来の代替手法を上回る性能を示した。

要約(オリジナル)

Recent models have shown that incorporating syntactic knowledge into the semantic role labelling (SRL) task leads to a significant improvement. In this paper, we propose Syntax-aware Graph-to-Graph Transformer (SynG2G-Tr) model, which encodes the syntactic structure using a novel way to input graph relations as embeddings, directly into the self-attention mechanism of Transformer. This approach adds a soft bias towards attention patterns that follow the syntactic structure but also allows the model to use this information to learn alternative patterns. We evaluate our model on both span-based and dependency-based SRL datasets, and outperform previous alternative methods in both in-domain and out-of-domain settings, on CoNLL 2005 and CoNLL 2009 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL