Developing and Evaluating Tiny to Medium-Sized Turkish BERT Models

要約

この研究では、リソースの少ない言語における研究のギャップを埋めることを目的として、小型、小型、中型のケースなしトルコ語 BERT モデルを導入および評価します。
私たちは、複数のソースからの 75GB 以上のテキストを含む多様なデータセットでこれらのモデルをトレーニングし、マスク予測、センチメント分析、ニュース分類、ゼロショット分類などのいくつかのタスクでテストしました。
サイズが小さいにもかかわらず、当社のモデルは、計算効率と実行時間の短縮を確保しながら、ゼロショット タスクを含む堅牢なパフォーマンスを示しました。
私たちの調査結果は、特にトルコ語のコンテキストにおいて、より小規模な言語モデルの開発と適用に関する貴重な洞察を提供します。

要約(オリジナル)

This study introduces and evaluates tiny, mini, small, and medium-sized uncased Turkish BERT models, aiming to bridge the research gap in less-resourced languages. We trained these models on a diverse dataset encompassing over 75GB of text from multiple sources and tested them on several tasks, including mask prediction, sentiment analysis, news classification, and, zero-shot classification. Despite their smaller size, our models exhibited robust performance, including zero-shot task, while ensuring computational efficiency and faster execution times. Our findings provide valuable insights into the development and application of smaller language models, especially in the context of the Turkish language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google