GeistBERT: Breathing Life into German NLP

要約

トランスベースの言語モデルの進歩は、高品質のコーパスでの言語固有の事前トレーニングの利点を強調しています。
これに関連して、ドイツのNLPは、ドイツ語の言語特性に合わせた更新されたアーキテクチャと最新のデータセットから得られるようになります。
Geistbertは、さまざまなNLPタスクにわたってモデルパフォーマンスを最適化することにより、ドイツ語処理の改善を目指しています。
標準のハイパーパラメーターを使用してFairSeqを使用して事前に訓練され、Gottbert Weightsから初期化され、Whole Word Masking（WWM）を使用して大規模なドイツのコーパスで訓練されました。
事前に訓練されたモデルに基づいて、最大8KトークンまでのシーケンスをサポートするNystr \ ‘OmformerおよびLongformerアーキテクチャを使用して、拡張入力バリアントを導き出しました。
これらの長いコンテストモデルは、専用の長いコンテキストベンチマークで評価されていませんが、リリースに含まれています。
$ f_1 $スコアと精度を使用して、NER（Conll 2003、Conll 2003、Germeval 2014）およびテキスト分類（Germeval 2018 Fine/Coarse、10kgnad）のすべてのモデルを評価しました。
Geistbertモデルは強力なパフォーマンスを達成し、ベースモデル間のすべてのタスクをリードし、新しい最先端（SOTA）を設定しました。
特に、ベースモデルは、いくつかのタスクで大きなモデルよりも優れていました。
ドイツのNLP研究コミュニティをサポートするために、MITライセンスの下でGeistbertをリリースしています。

要約(オリジナル)

Advances in transformer-based language models have highlighted the benefits of language-specific pre-training on high-quality corpora. In this context, German NLP stands to gain from updated architectures and modern datasets tailored to the linguistic characteristics of the German language. GeistBERT seeks to improve German language processing by incrementally training on a diverse corpus and optimizing model performance across various NLP tasks. It was pre-trained using fairseq with standard hyperparameters, initialized from GottBERT weights, and trained on a large-scale German corpus using Whole Word Masking (WWM). Based on the pre-trained model, we derived extended-input variants using Nystr\’omformer and Longformer architectures with support for sequences up to 8k tokens. While these long-context models were not evaluated on dedicated long-context benchmarks, they are included in our release. We assessed all models on NER (CoNLL 2003, GermEval 2014) and text classification (GermEval 2018 fine/coarse, 10kGNAD) using $F_1$ score and accuracy. The GeistBERT models achieved strong performance, leading all tasks among the base models and setting a new state-of-the-art (SOTA). Notably, the base models outperformed larger models in several tasks. To support the German NLP research community, we are releasing GeistBERT under the MIT license.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google