Learning to Substitute Spans towards Improving Compositional Generalization

要約

神経配列モデルの普及率が高まっているにもかかわらず、最近の経験的証拠は、神経配列モデルの構成的一般化が不十分であることを示唆しています。
この問題に対する現在の事実上の解決策の 1 つは、追加の組成誘導バイアスを引き起こすことを目的とした組成データの増強です。
それにもかかわらず、ニューラルシーケンスモデルの体系的な一般化を成功させるために、マルチグレインの構成バイアス（つまり、語彙または構造バイアスのみに限定されない）または不均衡な難易度分布でのトレーニングシーケンスの差別化が必要な場合、既存の手作りの拡張戦略によってもたらされる改善は制限されます。
2 つの課題に対処するために、最初に、トレーニング セット全体の実質的な部分構造のマルチグレイン構成を可能にする \textbf{Span} \textbf{Sub}stitution (SpanSub) と呼ばれる新しい構成拡張戦略を提案します。
さらに、\textbf{L}earning \textbf{to} \textbf{S}ubstitute \textbf{S}pan (L2S2) フレームワークを導入します。これにより、エンドツーの SpanSub でのスパン置換確率の学習が可能になります。
-神経配列モデルの損失を最大化することで、とらえどころのないコンセプトと斬新な環境を備えた挑戦的な構成を上回る方法で終了します。
SCAN、COGS、GeoQuery を含む 3 つの標準的な構成一般化ベンチマーク (それぞれ最大 66.5\%、10.3\%、1.2\% の改善) での実証結果は、SpanSub、学習フレームワーク L2S2、% の優位性を示しています。
彼らの組み合わせ。

要約(オリジナル)

Despite the rising prevalence of neural sequence models, recent empirical evidences suggest their deficiency in compositional generalization. One of the current de-facto solutions to this problem is compositional data augmentation, aiming to incur additional compositional inductive bias. Nonetheless, the improvement offered by existing handcrafted augmentation strategies is limited when successful systematic generalization of neural sequence models requires multi-grained compositional bias (i.e., not limited to either lexical or structural biases only) or differentiation of training sequences in an imbalanced difficulty distribution. To address the two challenges, we first propose a novel compositional augmentation strategy dubbed \textbf{Span} \textbf{Sub}stitution (SpanSub) that enables multi-grained composition of substantial substructures in the whole training set. Over and above that, we introduce the \textbf{L}earning \textbf{to} \textbf{S}ubstitute \textbf{S}pan (L2S2) framework which empowers the learning of span substitution probabilities in SpanSub in an end-to-end manner by maximizing the loss of neural sequence models, so as to outweigh those challenging compositions with elusive concepts and novel surroundings. Our empirical results on three standard compositional generalization benchmarks, including SCAN, COGS and GeoQuery (with an improvement of at most 66.5\%, 10.3\%, 1.2\%, respectively), demonstrate the superiority of SpanSub, %the learning framework L2S2 and their combination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google