Exploring Linguistic Similarity and Zero-Shot Learning for Multilingual Translation of Dravidian Languages

要約

ゼロショット翻訳の現在の研究は、高いコンピューティング要件、トレーニング時間の増加、ターゲットから外れた翻訳など、いくつかの問題に悩まされています。
提案された解決策には多くの場合、追加のデータまたはコンピューティング要件が必要になります。
ピボット ベースのニューラル機械翻訳は、トレーニングと評価に時間がかかるにもかかわらず、ほとんどの設定で単一エンコーダー モデルよりも優先されます。
この研究では、音訳と言語の類似性を利用することで、ゼロショット翻訳の欠点を克服しています。
ドラヴィダ語-ドラヴィダ語多言語翻訳用の単一のエンコーダー/デコーダー ニューラル機械翻訳システムを構築し、ゼロショット翻訳を実行します。
データとゼロショット精度のトレードオフを比較し、現在の最先端のピボット ベースの方法に対する標準的な方法のパフォーマンスを評価します。
また、形態学的に豊富な言語には大量の語彙が必要であるという理論を、最適なトランスポート ベースの手法を使用して語彙を制限することによって検証します。
私たちのモデルは、言語方向の 50\% でトレーニングされた場合、大規模なピボットベースのモデルの 3 BLEU 以内のスコアを達成することができました。

要約(オリジナル)

Current research in zero-shot translation is plagued by several issues such as high compute requirements, increased training time and off target translations. Proposed remedies often come at the cost of additional data or compute requirements. Pivot based neural machine translation is preferred over a single-encoder model for most settings despite the increased training and evaluation time. In this work, we overcome the shortcomings of zero-shot translation by taking advantage of transliteration and linguistic similarity. We build a single encoder-decoder neural machine translation system for Dravidian-Dravidian multilingual translation and perform zero-shot translation. We compare the data vs zero-shot accuracy tradeoff and evaluate the performance of our vanilla method against the current state of the art pivot based method. We also test the theory that morphologically rich languages require large vocabularies by restricting the vocabulary using an optimal transport based technique. Our model manages to achieves scores within 3 BLEU of large-scale pivot-based models when it is trained on 50\% of the language directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google