The eBible Corpus: Data and Model Benchmarks for Bible Translation for Low-Resource Languages

要約

タイトル: 低リソース言語の聖書翻訳のためのデータとモデルベンチマークであるeBible Corpus

要約：
– 低リソース言語にコーパスを効率的かつ正確に翻訳することは、人手による方法、自動化された方法、または両方を組み合わせた方法に関係なく、課題である。
– 多くのキリスト教団体が、現代の翻訳のない言語に聖書を翻訳するための作業に専念しています。
– eBible Corpusは、75の言語ファミリー内の833の異なる言語でデータを持つ聖書の一部の1009の翻訳を含むデータセットです。
– BTベンチマークデータセットに加えて、No Language Left Behind(NLLB)ニューラル機械翻訳(NMT)モデルに基づくモデルパフォーマンスベンチマークを紹介します。
– BTドメインに特有のいくつかの問題を説明し、確立されたデータとモデルベンチマークが将来の翻訳作業にどのように使用されるかを考慮します。
– NLLBで訓練されたBTタスクの場合、オーストロネシア語およびトランス・ニュー・ギニア語族は、それぞれ35.1と31.6のBLEUスコアを獲得し、パプアニューギニアの低リソース言語のためのNMTの将来のイノベーションを促します。

要約(オリジナル)

Efficiently and accurately translating a corpus into a low-resource language remains a challenge, regardless of the strategies employed, whether manual, automated, or a combination of the two. Many Christian organizations are dedicated to the task of translating the Holy Bible into languages that lack a modern translation. Bible translation (BT) work is currently underway for over 3000 extremely low resource languages. We introduce the eBible corpus: a dataset containing 1009 translations of portions of the Bible with data in 833 different languages across 75 language families. In addition to a BT benchmarking dataset, we introduce model performance benchmarks built on the No Language Left Behind (NLLB) neural machine translation (NMT) models. Finally, we describe several problems specific to the domain of BT and consider how the established data and model benchmarks might be used for future translation efforts. For a BT task trained with NLLB, Austronesian and Trans-New Guinea language families achieve 35.1 and 31.6 BLEU scores respectively, which spurs future innovations for NMT for low-resource languages in Papua New Guinea.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI