Low-Resource Transliteration for Roman-Urdu and Urdu Using Transformer-Based Models

要約

情報検索(IR)の分野で包括性の重要性がますます認識される中、低リソース言語のニーズへの対応は依然として重要な課題である。ウルドゥー語とそのローマ字表記であるローマンウルドゥー語の間の音訳は、南アジアで両方の文字が広く使われているにもかかわらず、まだ十分に研究されていない。Roman-Urdu-ParlデータセットでRNNを使用した先行研究は有望な結果を示したが、ドメイン適応性の低さと限られた評価に苦しんだ。我々は、m2m100多言語翻訳モデルを用いた変換器ベースのアプローチを提案し、Roman-Urdu-Parlデータセットとドメインが多様なDakshinaデータセットの両方において、マスク言語モデリング（MLM）の事前学習と微調整を強化する。従来の評価の欠陥に対処するため、厳密なデータセット分割を導入し、BLEU、文字レベルBLEU、CHRFを用いて性能を評価する。我々のモデルは強力な音訳性能を達成し、Char-BLEUスコアはウルドゥー語->ローマ字-ウルドゥー語で96.37、ローマ字-ウルドゥー語->ウルドゥー語で97.44であった。これらの結果は、RNNベースラインとGPT-4o Miniの両方を上回り、低リソース音訳タスクに対する多言語転送学習の有効性を実証している。

要約(オリジナル)

As the Information Retrieval (IR) field increasingly recognizes the importance of inclusivity, addressing the needs of low-resource languages remains a significant challenge. Transliteration between Urdu and its Romanized form, Roman Urdu, remains underexplored despite the widespread use of both scripts in South Asia. Prior work using RNNs on the Roman-Urdu-Parl dataset showed promising results but suffered from poor domain adaptability and limited evaluation. We propose a transformer-based approach using the m2m100 multilingual translation model, enhanced with masked language modeling (MLM) pretraining and fine-tuning on both Roman-Urdu-Parl and the domain-diverse Dakshina dataset. To address previous evaluation flaws, we introduce rigorous dataset splits and assess performance using BLEU, character-level BLEU, and CHRF. Our model achieves strong transliteration performance, with Char-BLEU scores of 96.37 for Urdu->Roman-Urdu and 97.44 for Roman-Urdu->Urdu. These results outperform both RNN baselines and GPT-4o Mini and demonstrate the effectiveness of multilingual transfer learning for low-resource transliteration tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL