TURNA: A Turkish Encoder-Decoder Language Model for Enhanced Understanding and Generation

要約

最近の自然言語処理の進歩により、リソースが豊富な英語中心のモデルが主に支持され、その結果、リソースの少ない言語との大きなギャップが生じています。
この研究では、低リソース言語トルコ語用に開発され、自然言語理解と生成タスクの両方が可能な言語モデル TURNA を紹介します。
TURNA は、この目的のために特別に厳選された多様なコーパスを備えた統一フレームワーク UL2 に基づくエンコーダ/デコーダ アーキテクチャで事前トレーニングされています。
トルコ語に対する 3 つの世代タスクと 5 つの理解タスクで TURNA を評価しました。
結果は、TURNA が理解タスクと生成タスクの両方でいくつかの多言語モデルを上回り、理解タスクでは単言語トルコ語モデルと競合することを示しています。
TURNA は https://huggingface.co/boun-tabi-LMG/TURNA で入手できます。

要約(オリジナル)

The recent advances in natural language processing have predominantly favored well-resourced English-centric models, resulting in a significant gap with low-resource languages. In this work, we introduce the language model TURNA, which is developed for the low-resource language Turkish and is capable of both natural language understanding and generation tasks. TURNA is pretrained with an encoder-decoder architecture based on the unified framework UL2 with a diverse corpus that we specifically curated for this purpose. We evaluated TURNA with three generation tasks and five understanding tasks for Turkish. The results show that TURNA outperforms several multilingual models in both understanding and generation tasks, and competes with monolingual Turkish models in understanding tasks. TURNA is made available at https://huggingface.co/boun-tabi-LMG/TURNA .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google