A Semi-Autoregressive Graph Generative Model for Dependency Graph Parsing

要約

近年、ニューラル依存関係解析の目覚ましい進歩が見られます。
グラフ結合確率に対するさまざまな因数分解アプローチに従って、既存のパーサーは自己回帰パターンと非自己回帰パターンに大別できます。
前者は、グラフを複数の連続的に依存するコンポーネントに因数分解し、コンポーネントごとに構築できることを意味します。
そして後者は、ワンショットで出力できるように、これらのコンポーネントが独立していることを前提としています。
ただし、有向エッジを明示的な依存関係として扱うと、依存関係グラフに独立したコンポーネントと相互依存するコンポーネントが混在していることがわかり、前述の両方のモデルがノードとエッジ間の明示的な依存関係を正確に捉えることができないことを示しています。
このプロパティに基づいて、すべてのグループ要素を並行して注ぎ出しながら、ノード グループとエッジ グループを自己回帰的に追加することで依存関係グラフを生成する半自己回帰依存関係パーサーを設計します。
このモデルは、非自己回帰と自己回帰の間のトレードオフを獲得します。これらはそれぞれ、ターゲットの相互依存関係の欠如とグラフ生成順序の不確実性の影響を受けます。
実験では、提案されたパーサーが複数言語の拡張ユニバーサル依存関係で強力なベースラインを上回り、特にグラフレベルの精度で $4\%$ の平均プロモーションを達成することが示されました。
また、モデルバリエーションの性能からも、特定のパーツの重要性がわかります。

要約(オリジナル)

Recent years have witnessed the impressive progress in Neural Dependency Parsing. According to the different factorization approaches to the graph joint probabilities, existing parsers can be roughly divided into autoregressive and non-autoregressive patterns. The former means that the graph should be factorized into multiple sequentially dependent components, then it can be built up component by component. And the latter assumes these components to be independent so that they can be outputted in a one-shot manner. However, when treating the directed edge as an explicit dependency relationship, we discover that there is a mixture of independent and interdependent components in the dependency graph, signifying that both aforementioned models fail to precisely capture the explicit dependencies among nodes and edges. Based on this property, we design a Semi-Autoregressive Dependency Parser to generate dependency graphs via adding node groups and edge groups autoregressively while pouring out all group elements in parallel. The model gains a trade-off between non-autoregression and autoregression, which respectively suffer from the lack of target inter-dependencies and the uncertainty of graph generation orders. The experiments show the proposed parser outperforms strong baselines on Enhanced Universal Dependencies of multiple languages, especially achieving $4\%$ average promotion at graph-level accuracy. Also, the performances of model variations show the importance of specific parts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google