DictaBERT: A State-of-the-Art BERT Suite for Modern Hebrew

要約

私たちは、ほとんどのベンチマークで既存のモデルを上回る、現代ヘブライ語用の新しい最先端の事前トレーニング済み BERT モデルである DictaBERT を紹介します。
さらに、ヘブライ語テキストの分析における 3 つの特定の基本タスク (接頭辞のセグメンテーション、形態学的タグ付け、質問応答) を実行するように設計された、モデルの 3 つの微調整バージョンをリリースします。
これらの微調整されたモデルを使用すると、開発者は追加のライブラリやコードを統合することなく、HuggingFace モデルへの 1 回の呼び出しでヘブライ語入力の接頭語セグメンテーション、形態素タグ付け、および質問応答を実行できます。
このペーパーでは、トレーニングの詳細とさまざまなベンチマークの結果についても説明します。
モデルを、その使用法を示すサンプル コードとともにコミュニティにリリースします。
私たちは、ヘブライ語 NLP のさらなる研究開発を支援するという目標の一環として、これらのモデルをリリースします。

要約(オリジナル)

We present DictaBERT, a new state-of-the-art pre-trained BERT model for modern Hebrew, outperforming existing models on most benchmarks. Additionally, we release three fine-tuned versions of the model, designed to perform three specific foundational tasks in the analysis of Hebrew texts: prefix segmentation, morphological tagging and question answering. These fine-tuned models allow any developer to perform prefix segmentation, morphological tagging and question answering of a Hebrew input with a single call to a HuggingFace model, without the need to integrate any additional libraries or code. In this paper we describe the details of the training as well and the results on the different benchmarks. We release the models to the community, along with sample code demonstrating their use. We release these models as part of our goal to help further research and development in Hebrew NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google