Enabling Low-Resource Language Retrieval: Establishing Baselines for Urdu MS MARCO

要約

情報検索(IR)分野がますます包括性の重要性を認識する中、低リソース言語のニーズへの対応は依然として重要な課題である。本稿では、MS MARCOデータセットを機械翻訳することによって作成された、初の大規模ウルドゥー語IRデータセットを紹介する。ウルドゥー語IRのゼロショット学習によるベースライン結果を確立し、その後、この新たに翻訳されたデータセットにmMARCO多言語IR手法を適用する。その結果、微調整されたモデル（Urdu-mT5-mMARCO）は、0.247のMRR@10（Mean Reciprocal Rank）と0.439のRecall@10（Recall@10）を達成し、ゼロショットの結果よりも大幅に改善され、ウルドゥー語話者のIRアクセスを拡大する可能性を示している。低リソース言語の話者のアクセスギャップを埋めることで、この研究は多言語IR研究を前進させるだけでなく、インクルーシブIR技術の倫理的・社会的重要性を強調している。この研究は、言語表現を改善するための課題と解決策に関する貴重な洞察を提供し、今後の研究、特に本研究で使用した適応可能な手法から恩恵を受けることができる南アジアの言語における研究の基礎を築くものである。

要約(オリジナル)

As the Information Retrieval (IR) field increasingly recognizes the importance of inclusivity, addressing the needs of low-resource languages remains a significant challenge. This paper introduces the first large-scale Urdu IR dataset, created by translating the MS MARCO dataset through machine translation. We establish baseline results through zero-shot learning for IR in Urdu and subsequently apply the mMARCO multilingual IR methodology to this newly translated dataset. Our findings demonstrate that the fine-tuned model (Urdu-mT5-mMARCO) achieves a Mean Reciprocal Rank (MRR@10) of 0.247 and a Recall@10 of 0.439, representing significant improvements over zero-shot results and showing the potential for expanding IR access for Urdu speakers. By bridging access gaps for speakers of low-resource languages, this work not only advances multilingual IR research but also emphasizes the ethical and societal importance of inclusive IR technologies. This work provides valuable insights into the challenges and solutions for improving language representation and lays the groundwork for future research, especially in South Asian languages, which can benefit from the adaptable methods used in this study.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL