TookaBERT: A Step Forward for Persian NLU

要約

自然言語処理 (NLP) の分野は、深層学習と基礎モデルの力のおかげで目覚ましい進歩を遂げています。
言語モデル、特に BERT がこの進歩において重要な役割を果たしています。
この研究では、ペルシア語データを使用して 2 つの新しい BERT モデルをトレーニングし、導入しました。
私たちはモデルをテストし、14 の多様なペルシア語自然言語理解 (NLU) タスクにわたって 7 つの既存モデルと比較しました。
結果はそれ自体を物語っています。私たちの大規模なモデルは競合製品よりも優れており、少なくとも +2.8 ポイントの平均改善を示しています。
これは、ペルシャ NLU タスクに対する新しい BERT モデルの有効性と可能性を強調しています。

要約(オリジナル)

The field of natural language processing (NLP) has seen remarkable advancements, thanks to the power of deep learning and foundation models. Language models, and specifically BERT, have been key players in this progress. In this study, we trained and introduced two new BERT models using Persian data. We put our models to the test, comparing them to seven existing models across 14 diverse Persian natural language understanding (NLU) tasks. The results speak for themselves: our larger model outperforms the competition, showing an average improvement of at least +2.8 points. This highlights the effectiveness and potential of our new BERT models for Persian NLU tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google