DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains

要約

タイトル：DrBERT：医療・臨床領域のためのロバストなフランス語事前学習モデル

要約：

– 最近では、事前学習言語モデル（PLMs）が自然言語処理（NLP）の広範なタスクで最高の性能を発揮している。
– 最初のモデルは一般的なドメインのデータで訓練されたが、より特殊なドメインを扱うためのモデルが登場している。
– 本論文では、フランス語で医学ドメインのPLMsについての独自の研究を提案する。
– ウェブ上の公開データと医療機関のプライベートデータの両方で訓練されたPLMsの性能を初めて比較する。
– 生物医学のタスクを一連の学習戦略で評価し、既存の外国語の生物医学PLMsを目標データにさらに事前学習することで活用できることを示す。
– 最後に、医療分野の専門化された最初のフランス語PLMsであるDrBERTと、これらのモデルが訓練された最大の医療データコーパスを無料ライセンスで公開する。

要約(オリジナル)

In recent years, pre-trained language models (PLMs) achieve the best performance on a wide range of natural language processing (NLP) tasks. While the first models were trained on general domain data, specialized ones have emerged to more effectively treat specific domains. In this paper, we propose an original study of PLMs in the medical domain on French language. We compare, for the first time, the performance of PLMs trained on both public data from the web and private data from healthcare establishments. We also evaluate different learning strategies on a set of biomedical tasks. In particular, we show that we can take advantage of already existing biomedical PLMs in a foreign language by further pre-train it on our targeted data. Finally, we release the first specialized PLMs for the biomedical field in French, called DrBERT, as well as the largest corpus of medical data under free license on which these models are trained.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI