Learning to translate by learning to communicate

要約

私たちは、特に低リソース言語向けに、最新の教師なし NMT システムを改善するために、事前トレーニングされた多言語モデルで緊急コミュニケーション (EC) を使用する手法を策定し、テストします。
テキストのみのコーパスを事前トレーニングするという、NLP における現在の支配的なパラダイムでは、堅牢な自然言語理解システムが得られないと主張されており、根拠のある、目標指向の、対話型の言語学習の必要性が強調されています。
私たちのアプローチでは、多言語モデル (mBART、Liu et al.、2020) を EC 画像参照ゲームに埋め込み、ビジョンに基づいたタスクを達成するために多言語世代を使用するようにモデルにインセンティブを与えます。
仮説は、これにより複数の言語が共有タスクスペースに合わせられるようになるというものです。
我々は、EC Fine-Tuning の 2 つのバリアント (Sreinert-Threlkeld et al., 2022) を紹介します。そのうちの 1 つは、低リソース言語であるネパール語を含む、調査した 4 つの言語すべてで逆翻訳のみのベースラインを上回っています。

要約(オリジナル)

We formulate and test a technique to use Emergent Communication (EC) with a pre-trained multilingual model to improve on modern Unsupervised NMT systems, especially for low-resource languages. It has been argued that the current dominant paradigm in NLP of pre-training on text-only corpora will not yield robust natural language understanding systems, and the need for grounded, goal-oriented, and interactive language learning has been high lighted. In our approach, we embed a multilingual model (mBART, Liu et al., 2020) into an EC image-reference game, in which the model is incentivized to use multilingual generations to accomplish a vision-grounded task. The hypothesis is that this will align multiple languages to a shared task space. We present two variants of EC Fine-Tuning (Steinert-Threlkeld et al., 2022), one of which outperforms a backtranslation-only baseline in all four languages investigated, including the low-resource language Nepali.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google