NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages

要約

自然言語処理 (NLP) テクノロジーへのアクセスを民主化することは、特に過小評価され、リソースが非常に少ない言語にとって非常に重要です。
これまでの研究は、オンライン スクレイピングと文書翻訳を通じて、これらの言語のラベル付きおよびラベルなしのコーパスを開発することに焦点を当てていました。
これらの方法は効果的でコスト効率が高いことが証明されていますが、語彙の多様性や地域社会との文化的関連性の欠如など、結果として得られるコーパスに限界があることが判明しました。
このギャップに対処するために、私たちはインドネシアの現地言語に関するケーススタディを実施します。
データセットの構築におけるオンライン スクレイピング、人間による翻訳、およびネイティブ スピーカーによるパラグラフ ライティングの有効性を比較します。
私たちの調査結果は、ネイティブ スピーカーによる段落作成を通じて生成されたデータセットが、語彙の多様性と文化的内容の点で優れた品質を示していることを示しています。
さらに、インドネシアの何百万人もの人々が話している、過小評価されリソースが非常に少ない 12 の言語を網羅した \datasetname{} ベンチマークを紹介します。
既存の多言語大規模言語モデルを使用した実証実験の結果は、これらのモデルをより過小評価されている言語に拡張する必要があると結論付けています。
NusaWrites データセットを https://github.com/IndoNLP/nusa-writes でリリースします。

要約(オリジナル)

Democratizing access to natural language processing (NLP) technology is crucial, especially for underrepresented and extremely low-resource languages. Previous research has focused on developing labeled and unlabeled corpora for these languages through online scraping and document translation. While these methods have proven effective and cost-efficient, we have identified limitations in the resulting corpora, including a lack of lexical diversity and cultural relevance to local communities. To address this gap, we conduct a case study on Indonesian local languages. We compare the effectiveness of online scraping, human translation, and paragraph writing by native speakers in constructing datasets. Our findings demonstrate that datasets generated through paragraph writing by native speakers exhibit superior quality in terms of lexical diversity and cultural content. In addition, we present the \datasetname{} benchmark, encompassing 12 underrepresented and extremely low-resource languages spoken by millions of individuals in Indonesia. Our empirical experiment results using existing multilingual large language models conclude the need to extend these models to more underrepresented languages. We release the NusaWrites dataset at https://github.com/IndoNLP/nusa-writes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google