Compositional Generalisation with Structured Reordering and Fertility Layers

要約

Seq2seq モデルは、構成の一般化、つまり、トレーニング中に見られるよりも潜在的に複雑な新しい構造への一般化に苦労することが示されています。
構成の一般化に優れた文法ベースのモデルからインスピレーションを得て、2 つの構造操作を構成する柔軟なエンドツーエンドの微分可能なニューラル モデルを提示します。
(Wang et al., 2021)。
微分可能性を確保するために、各ステップの期待値を使用します。
私たちのモデルは、より長い例への一般化を必要とする現実的なセマンティック解析タスクの構成上の分割に挑戦する上で、seq2seq モデルよりも大幅に優れています。
また、構成の一般化を対象とする他のモデルと比較して有利です。

要約(オリジナル)

Seq2seq models have been shown to struggle with compositional generalisation, i.e. generalising to new and potentially more complex structures than seen during training. Taking inspiration from grammar-based models that excel at compositional generalisation, we present a flexible end-to-end differentiable neural model that composes two structural operations: a fertility step, which we introduce in this work, and a reordering step based on previous work (Wang et al., 2021). To ensure differentiability, we use the expected value of each step. Our model outperforms seq2seq models by a wide margin on challenging compositional splits of realistic semantic parsing tasks that require generalisation to longer examples. It also compares favourably to other models targeting compositional generalisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google