Neural Machine Translation of Clinical Text: An Empirical Investigation into Multilingual Pre-Trained Language Models and Transfer-Learning

要約

Transformer ベースの構造などの深層学習を使用した多言語ニューラル ネットワーク モデルを調査することにより、臨床テキストの機械翻訳に関する研究を行っています。
さらに、言語リソースの不均衡の問題に対処するために、大規模な多言語事前学習済み言語モデル (MMPLM) に基づく転移学習手法を使用した実験も実行します。
1) 臨床症例 (CC)、2) 臨床用語 (CT)、3) 存在論的概念 (OC) を含む 3 つのサブタスクに関する実験結果は、私たちのモデルが英語に関する ClinSpEn-2022 共有タスクでトップレベルのパフォーマンスを達成したことを示しています。
スペインの臨床ドメインデータ。
さらに、私たちの専門家ベースの人的評価は、臨床領域の微調整において、小規模の事前トレーニング済み言語モデル (PLM) が他の 2 つの超大規模言語モデルに大差で勝ったことを実証しましたが、この結果は報告されていませんでした。
現場で。
最後に、転移学習法は、WMT21fb 自体の事前トレーニング段階では見られなかった新しい言語空間スペイン語に対応するために、WMT21fb モデルを使用する実験設定でうまく機能します。これは、臨床知識の変換にさらに活用する価値があります。
さらに多くの言語を調査するために。
これらの研究結果は、特に臨床およびヘルスケア分野におけるドメイン固有の機械翻訳開発に光を当てることができます。
医療テキスト分析と知識変換を改善するという私たちの取り組みに基づいて、さらなる研究プロジェクトを実行することができます。

要約(オリジナル)

We conduct investigations on clinical text machine translation by examining multilingual neural network models using deep learning such as Transformer based structures. Furthermore, to address the language resource imbalance issue, we also carry out experiments using a transfer learning methodology based on massive multilingual pre-trained language models (MMPLMs). The experimental results on three subtasks including 1) clinical case (CC), 2) clinical terminology (CT), and 3) ontological concept (OC) show that our models achieved top-level performances in the ClinSpEn-2022 shared task on English-Spanish clinical domain data. Furthermore, our expert-based human evaluations demonstrate that the small-sized pre-trained language model (PLM) won over the other two extra-large language models by a large margin, in the clinical domain fine-tuning, which finding was never reported in the field. Finally, the transfer learning method works well in our experimental setting using the WMT21fb model to accommodate a new language space Spanish that was not seen at the pre-training stage within WMT21fb itself, which deserves more exploitation for clinical knowledge transformation, e.g. to investigate into more languages. These research findings can shed some light on domain-specific machine translation development, especially in clinical and healthcare fields. Further research projects can be carried out based on our work to improve healthcare text analytics and knowledge transformation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google