Simple and effective data augmentation for compositional generalization

要約

構成的一般化、つまり単純な文のトレーニングから複雑な意味を予測する機能は、強力な事前トレーニング済み seq2seq モデルに課題をもたらします。
この論文では、MR をサンプリングして逆変換するデータ拡張手法が、正しい分布からサンプリングした場合に限り、構成の一般化に効果的であることを示します。
注目すべきことに、一様分布からのサンプリングは、テスト分布からのサンプリングとほぼ同じパフォーマンスを示し、トレーニング分布からサンプリングした以前の方法を大幅に上回っています。
私たちはさらに実験を行って、なぜこれが起こるのか、そしてそのようなデータ拡張手法の利点がどこから来るのかを調査します。

要約(オリジナル)

Compositional generalization, the ability to predict complex meanings from training on simpler sentences, poses challenges for powerful pretrained seq2seq models. In this paper, we show that data augmentation methods that sample MRs and backtranslate them can be effective for compositional generalization, but only if we sample from the right distribution. Remarkably, sampling from a uniform distribution performs almost as well as sampling from the test distribution, and greatly outperforms earlier methods that sampled from the training distribution. We further conduct experiments to investigate the reason why this happens and where the benefit of such data augmentation methods come from.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google