Introducing cosmosGPT: Monolingual Training for Turkish Language Models

要約

他の言語と同様に、トルコ語を生成できるオープンソース言語モデルの数は日々増加しています。
このようなモデルの基本バージョンを作成するために、通常はトルコ語コーパスを使用した多言語モデルのトレーニングが継続されます。
別の方法は、トルコ語コーパスのみを使用してモデルをトレーニングすることです。
この研究では、まず、この代替方法で作成した cosmosGPT モデルを紹介します。
次に、ユーザーの要求を満たすための基本言語モデル用の新しい微調整データセットと、トルコ語言語モデルの機能を測定するための新しい評価データセットを導入します。
最後に、さまざまな機能に関する適応されたトルコ語モデルの包括的な比較が示されています。
結果は、単一言語コーパスを使用して構築した言語モデルが、他の言語モデルよりも約 10 倍小さいにもかかわらず、有望なパフォーマンスを示していることを示しています。

要約(オリジナル)

The number of open source language models that can produce Turkish is increasing day by day, as in other languages. In order to create the basic versions of such models, the training of multilingual models is usually continued with Turkish corpora. The alternative is to train the model with only Turkish corpora. In this study, we first introduce the cosmosGPT models that we created with this alternative method. Then, we introduce new finetune datasets for basic language models to fulfill user requests and new evaluation datasets for measuring the capabilities of Turkish language models. Finally, a comprehensive comparison of the adapted Turkish language models on different capabilities is presented. The results show that the language models we built with the monolingual corpus have promising performance despite being about 10 times smaller than the others.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google