CreoleVal: Multilingual Multitask Benchmarks for Creoles

要約

クレオール語は、NLP 研究に利用できるリソースがほとんどなく、十分に研究されておらず疎外されている言語グループの代表です。クレオール語と多くのリソースの高い言語との間の系譜上のつながりは転移学習の大きな可能性を示唆していますが、この可能性はこの欠如のために妨げられています。
注釈付きデータの。
この研究では、最大 28 のクレオール言語をカバーする 8 つの異なる NLP タスクにわたるベンチマーク データセットのコレクションである CreoleVal を紹介します。
これは、クレオール語の読解、関係分類、機械翻訳のための新しい開発データセットの集合体であり、いくつかの既存のベンチマークへの実用的なゲートウェイです。
各ベンチマークについて、クレオール語の転移学習の機能と制限をさらに確認するために、ゼロショット設定でベースライン実験を実施します。
最終的に、私たちは CreoleVal が NLP および計算言語学におけるクレオール語の研究を強化する機会であり、一般的には世界中でより公平な言語技術に向けた一歩であると考えています。

要約(オリジナル)

Creoles represent an under-explored and marginalized group of languages, with few available resources for NLP research.While the genealogical ties between Creoles and a number of highly-resourced languages imply a significant potential for transfer learning, this potential is hampered due to this lack of annotated data. In this work we present CreoleVal, a collection of benchmark datasets spanning 8 different NLP tasks, covering up to 28 Creole languages; it is an aggregate of novel development datasets for reading comprehension, relation classification, and machine translation for Creoles, in addition to a practical gateway to a handful of preexisting benchmarks. For each benchmark, we conduct baseline experiments in a zero-shot setting in order to further ascertain the capabilities and limitations of transfer learning for Creoles. Ultimately, we see CreoleVal as an opportunity to empower research on Creoles in NLP and computational linguistics, and in general, a step towards more equitable language technology around the globe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google