AMR Parsing with Causal Hierarchical Attention and Pointers

要約

翻訳ベースの AMR パーサーは、そのシンプルさと有効性により、最近人気が高まっています。
線形化されたグラフをフリー テキストとして予測し、明示的な構造モデリングを回避します。
ただし、この単純さでは AMR グラフの構造的局所性が無視され、共参照を表すために不必要なトークンが導入されます。
この論文では、AMR 解析の新しいターゲット形式と、因果階層的注意とポインタ メカニズムを備えた新しいモデル CHAP を紹介し、Transformer デコーダへの構造の統合を可能にします。
私たちは、さまざまな代替モデリング オプションを経験的に調査します。
実験の結果、追加データなしの設定では、5 つのベンチマークのうち 4 つで、私たちのモデルがベースライン モデルを上回るパフォーマンスを示しました。

要約(オリジナル)

Translation-based AMR parsers have recently gained popularity due to their simplicity and effectiveness. They predict linearized graphs as free texts, avoiding explicit structure modeling. However, this simplicity neglects structural locality in AMR graphs and introduces unnecessary tokens to represent coreferences. In this paper, we introduce new target forms of AMR parsing and a novel model, CHAP, which is equipped with causal hierarchical attention and the pointer mechanism, enabling the integration of structures into the Transformer decoder. We empirically explore various alternative modeling options. Experiments show that our model outperforms baseline models on four out of five benchmarks in the setting of no additional data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google