Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing

要約

言語間セマンティック解析は、高リソース言語 (英語など) から、トレーニング データが乏しい低リソース言語に解析機能を移行します。
これまでの研究では、主にシルバー標準のデータ拡張またはゼロショット手法が検討されてきましたが、少数ショットのゴールド データの活用は比較的未開発でした。
我々は、Optimal Transport を使用して確率的潜在変数間の言語間の相違を明示的に最小限に抑えることにより、言語を越えた意味解析への新しいアプローチを提案します。
この直接的なガイダンスにより、より少ない例とより少ないトレーニングを使用して、自然言語からの解析がどのように改善されるかを示します。
私たちは、MTOP と MultiATIS++SQL という 2 つのデータセットでメソッドを評価し、少数ショットのクロス言語体制下で最先端の結果を確立しました。
アブレーション研究により、並列入力変換がなくても、私たちの方法でパフォーマンスが向上することがさらに明らかになりました。
さらに、私たちのモデルが潜在空間内の言語間の構造をより適切に捕捉して、意味表現の類似性を向上させることを示します。

要約(オリジナル)

Cross-lingual semantic parsing transfers parsing capability from a high-resource language (e.g., English) to low-resource languages with scarce training data. Previous work has primarily considered silver-standard data augmentation or zero-shot methods, however, exploiting few-shot gold data is comparatively unexplored. We propose a new approach to cross-lingual semantic parsing by explicitly minimizing cross-lingual divergence between probabilistic latent variables using Optimal Transport. We demonstrate how this direct guidance improves parsing from natural languages using fewer examples and less training. We evaluate our method on two datasets, MTOP and MultiATIS++SQL, establishing state-of-the-art results under a few-shot cross-lingual regime. Ablation studies further reveal that our method improves performance even without parallel input translations. In addition, we show that our model better captures cross-lingual structure in the latent space to improve semantic representation similarity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google