On Evaluating Multilingual Compositional Generalization with Translated Datasets

要約

構成的一般化により、効率的な学習と人間のような誘導バイアスが可能になります。
NLP における構成的一般化を調査するほとんどの研究は英語で行われているため、重要な疑問はまだ解明されていません。
必要な構成一般化能力は言語によって異なりますか?
モデルは言語を超えて構成的に一般化できますか?
これらの質問に答えるための最初のステップとして、最近の研究ではニューラル機械翻訳を使用して、意味解析における構成的一般化を評価するためのデータセットを翻訳しました。
ただし、これには重大な意味上の歪みが伴うことを示します。
この制限に対処するために、MCWQ データセットの英語から中国語、日本語への忠実なルールベースの翻訳を作成しました。
結果として得られた堅牢なベンチマーク (MCWQ-R と呼ぶ) を使用したとしても、構成の分布は言語の相違により依然として影響を受けており、多言語モデルは依然として言語間の構成の一般化に苦戦していることがわかります。
私たちのデータセットと方法論は、他のタスクにおける言語を超えた構成の一般化を研究するための有用なリソースになります。

要約(オリジナル)

Compositional generalization allows efficient learning and human-like inductive biases. Since most research investigating compositional generalization in NLP is done on English, important questions remain underexplored. Do the necessary compositional generalization abilities differ across languages? Can models compositionally generalize cross-lingually? As a first step to answering these questions, recent work used neural machine translation to translate datasets for evaluating compositional generalization in semantic parsing. However, we show that this entails critical semantic distortion. To address this limitation, we craft a faithful rule-based translation of the MCWQ dataset from English to Chinese and Japanese. Even with the resulting robust benchmark, which we call MCWQ-R, we show that the distribution of compositions still suffers due to linguistic divergences, and that multilingual models still struggle with cross-lingual compositional generalization. Our dataset and methodology will be useful resources for the study of cross-lingual compositional generalization in other tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google