DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains

要約

タイトル: DrBERT: バイオメディカルおよび臨床分野向けの強力な事前学習モデル（フランス語版）
要約:
– 最近、事前学習言語モデル（PLMs）が広範な自然言語処理（NLP）タスクで最高のパフォーマンスを発揮している。
– 最初のモデルは一般分野データでトレーニングされていたが、特化したモデルが登場し、より効果的に特定の分野を扱うことができるようになった。
– この論文では、フランス語の医療分野でPLMsのオリジナルの研究を提案している。
– ウェブからの一般公開データと、医療施設からのプライベートデータの両方でトレーニングされたPLMsのパフォーマンスを初めて比較した。
– 各種バイオメディカルタスクの学習戦略を評価した。
– 特に、外国語の既存のバイオメディカルPLMsを特定のデータでさらに事前学習することで、その利用価値があることを示した。
– 最後に、DrBERTという名前のフランス語のバイオメディカル分野向けの最初の専門PLMs、およびこれらのモデルがトレーニングされたフリーライセンスの最大の医療データセットをリリースした。

要約(オリジナル)

In recent years, pre-trained language models (PLMs) achieve the best performance on a wide range of natural language processing (NLP) tasks. While the first models were trained on general domain data, specialized ones have emerged to more effectively treat specific domains. In this paper, we propose an original study of PLMs in the medical domain on French language. We compare, for the first time, the performance of PLMs trained on both public data from the web and private data from healthcare establishments. We also evaluate different learning strategies on a set of biomedical tasks. In particular, we show that we can take advantage of already existing biomedical PLMs in a foreign language by further pre-train it on our targeted data. Finally, we release the first specialized PLMs for the biomedical field in French, called DrBERT, as well as the largest corpus of medical data under free license on which these models are trained.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI