Incorporating Graph Information in Transformer-based AMR Parsing

要約

抽象意味表現 (AMR) は、特定のテキストを表す意味論的なグラフの抽象化を提供することを目的とした意味解析形式です。
現在のアプローチは、BART や T5 などの自己回帰言語モデルに基づいており、教師強制によって微調整され、文から線形化された AMR グラフが取得されます。
この論文では、構造アダプターを使用してグラフ情報を学習された表現に明示的に組み込み、AMR 解析パフォーマンスを向上させる、Transformer アーキテクチャへの変更を検討するモデルおよび手法である LeakDistill を紹介します。
私たちの実験は、ワードからノードへのアライメントを採用してトレーニング時にグラフ構造情報をエンコーダーに埋め込むことで、追加のデータを使用しなくても、自己知識蒸留を通じて最先端の AMR 解析をどのように取得できるかを示しています。
。
コードは \url{http://www.github.com/sapienzanlp/LeakDistill} でリリースされます。

要約(オリジナル)

Abstract Meaning Representation (AMR) is a Semantic Parsing formalism that aims at providing a semantic graph abstraction representing a given text. Current approaches are based on autoregressive language models such as BART or T5, fine-tuned through Teacher Forcing to obtain a linearized version of the AMR graph from a sentence. In this paper, we present LeakDistill, a model and method that explores a modification to the Transformer architecture, using structural adapters to explicitly incorporate graph information into the learned representations and improve AMR parsing performance. Our experiments show how, by employing word-to-node alignment to embed graph structural information into the encoder at training time, we can obtain state-of-the-art AMR parsing through self-knowledge distillation, even without the use of additional data. We release the code at \url{http://www.github.com/sapienzanlp/LeakDistill}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google