Towards Santali Linguistic Inclusion: Building the First Santali-to-English Translation Model using mT5 Transformer and Data Augmentation

要約

インド、バングラデシュ、ブータン、ネパールの約 700 万人がサンタリ語を話しており、サンタリ語はほぼ 3 番目によく使用されているオーストロアジア語の地位にあります。
オーストリア語族のムンダ亜族の中で顕著であるにもかかわらず、サンタリ語は世界的な認知度に欠けています。
現在、サンタリ語の翻訳モデルは存在しません。
私たちの論文は、サンタリを不良債権の範囲に含めることを目的としています。
私たちは、利用可能な Santali コーパスに基づいて Santali 翻訳モデルを構築する可能性を検討することを目的としています。
この論文は、低リソースの問題にうまく対処し、有望な結果を得て、低リソース設定で機能的な Santali 機械翻訳モデルを作成する可能性を検討しました。
私たちの研究では、サンタリ語と英語の対訳コーパスは、トレーニングを受けていないトランスフォーマーと比較して、mt5 のようなトランスフォーマーで使用した場合にパフォーマンスが向上することが示されており、転移学習がサンタリ語で機能する実行可能な技術になり得ることが証明されています。
mT5 トランスフォーマーに加えて、mT5 はバングラ語データよりもはるかに多くの英語データでトレーニングされているため、サンタリ語-英語はサンタリ語-バングラ語対訳コーパスよりも優れたパフォーマンスを発揮します。
最後に、私たちの研究は、データ拡張によりモデルのパフォーマンスが向上することを示しています。

要約(オリジナル)

Around seven million individuals in India, Bangladesh, Bhutan, and Nepal speak Santali, positioning it as nearly the third most commonly used Austroasiatic language. Despite its prominence among the Austroasiatic language family’s Munda subfamily, Santali lacks global recognition. Currently, no translation models exist for the Santali language. Our paper aims to include Santali to the NPL spectrum. We aim to examine the feasibility of building Santali translation models based on available Santali corpora. The paper successfully addressed the low-resource problem and, with promising results, examined the possibility of creating a functional Santali machine translation model in a low-resource setup. Our study shows that Santali-English parallel corpus performs better when in transformers like mt5 as opposed to untrained transformers, proving that transfer learning can be a viable technique that works with Santali language. Besides the mT5 transformer, Santali-English performs better than Santali-Bangla parallel corpus as the mT5 has been trained in way more English data than Bangla data. Lastly, our study shows that with data augmentation, our model performs better.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google