Low-Resource Neural Machine Translation Using Recurrent Neural Networks and Transfer Learning: A Case Study on English-to-Igbo

要約

この研究では、ナイジェリアと西アフリカで4,000万人以上が話している低リソースのアフリカ言語である、英語からIGBOへの翻訳のためのニューラルマシン翻訳（NMT）および変圧器ベースの転送学習モデルを開発しています。
私たちのモデルは、聖書コーパス、ローカルニュース、ウィキペディアの記事、および一般的なクロールから編集されたキュレーションされたベンチマークのデータセットでトレーニングされており、すべて母国語の専門家によって検証されています。
翻訳の精度を向上させるための注意メカニズムで強化された、長期短期メモリ（LSTM）やゲート再生ユニット（GRU）を含む、再発性ニューラルネットワーク（RNN）アーキテクチャを活用します。
パフォーマンスをさらに向上させるために、SimpleTransFormersフレームワーク内でMarianNMT事前訓練を受けたモデルを使用して転送学習を適用します。
当社のRNNベースのシステムは、既存のEnglish-IGBOベンチマークに密接に一致して、競争力のある結果を達成します。
トランスファーラーニングを使用すると、パフォーマンスゲインが+4.83ブルーポイントを観察し、推定翻訳精度が70％に達します。
これらの調査結果は、RNNと転送学習を組み合わせて、低リソースの言語翻訳タスクのパフォーマンスギャップに対処することの有効性を強調しています。

要約(オリジナル)

In this study, we develop Neural Machine Translation (NMT) and Transformer-based transfer learning models for English-to-Igbo translation – a low-resource African language spoken by over 40 million people across Nigeria and West Africa. Our models are trained on a curated and benchmarked dataset compiled from Bible corpora, local news, Wikipedia articles, and Common Crawl, all verified by native language experts. We leverage Recurrent Neural Network (RNN) architectures, including Long Short-Term Memory (LSTM) and Gated Recurrent Units (GRU), enhanced with attention mechanisms to improve translation accuracy. To further enhance performance, we apply transfer learning using MarianNMT pre-trained models within the SimpleTransformers framework. Our RNN-based system achieves competitive results, closely matching existing English-Igbo benchmarks. With transfer learning, we observe a performance gain of +4.83 BLEU points, reaching an estimated translation accuracy of 70%. These findings highlight the effectiveness of combining RNNs with transfer learning to address the performance gap in low-resource language translation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google