CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data

要約

病院内の臨床データは、臨床データウェアハウスを通じて研究用にアクセスできるようになってきている。しかし、これらの文書は非構造化であるため、臨床研究を行うためには、診断書から情報を抽出する必要がある。CamemBERTのようなBERTライクなモデルによる転移学習は、フランス語、特に名前付きエンティティ認識に大きな進歩をもたらしている。しかし、これらのモデルは平易な言語用に学習されており、生物医学データでは効率が低い。このギャップに対処するため、我々は、新しい公開フランス語生物医学データセットから派生した、フランス語生物医学専用モデルであるCamemBERT-bioを導入する。オリジナルのCamemBERTの継続的な事前学習により、CamemBERT-bioは、様々な生物医学的な名前付きエンティティ認識タスクにおいて、平均2.54ポイントのF1スコアの向上を達成し、ゼロから学習するよりも計算量が少なく、かつ同等の能力を持つ代替手段としての継続的な事前学習の可能性を強化している。さらに、フランス語の生物医学モデルの現在の最先端を明確に示す標準的な評価プロトコルを使用することの重要性を強調する。

要約(オリジナル)

Clinical data in hospitals are increasingly accessible for research through clinical data warehouses. However these documents are unstructured and it is therefore necessary to extract information from medical reports to conduct clinical studies. Transfer learning with BERT-like models such as CamemBERT has allowed major advances for French, especially for named entity recognition. However, these models are trained for plain language and are less efficient on biomedical data. Addressing this gap, we introduce CamemBERT-bio, a dedicated French biomedical model derived from a new public French biomedical dataset. Through continual pre-training of the original CamemBERT, CamemBERT-bio achieves an improvement of 2.54 points of F1-score on average across various biomedical named entity recognition tasks, reinforcing the potential of continual pre-training as an equally proficient yet less computationally intensive alternative to training from scratch. Additionally, we highlight the importance of using a standard evaluation protocol that provides a clear view of the current state-of-the-art for French biomedical models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL