Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse Biomedical Tasks

要約

目的: 既存の微調整された生物医学大規模言語モデル (LLM) のほとんどは、単言語の生物医学的な質問応答および会話タスクのパフォーマンスを向上させることに重点を置いています。
さまざまな言語での多様な生物医学 NLP タスクに対する微調整 LLM の有効性を調査するために、多様な生物医学タスク用のバイリンガル微調整 LLM である Taiyi を紹介します。
材料と方法: まず、10 以上のタスク タイプにわたって、140 の既存の生物医学テキスト マイニング データセット (102 の英語データセットと 38 中国語データセット) の包括的なコレクションを厳選しました。
続いて、さまざまなタスクにわたってモデルのパフォーマンスを最適化するための教師あり微調整のための 2 段階の戦略が提案されます。
結果: 固有表現認識、関係抽出、テキスト分類、質問応答タスクをカバーする 13 のテスト セットの実験結果は、Taiyi が一般的な LLM と比較して優れたパフォーマンスを達成することを示しています。
追加の生物医学的 NLP タスクを含むケーススタディは、Taiyi のバイリンガル生物医学的マルチタスクに対する大きな可能性をさらに示しています。
結論: 豊富で高品質な生物医学コーパスを活用し、効果的な微調整戦略を開発することで、生物医学ドメイン内の LLM のパフォーマンスを大幅に向上させることができます。
Taiyi は、監視付き微調整を通じてバイリンガルのマルチタスク機能を示します。
ただし、本質的に生成タスクではない情報抽出などのタスクは、LLM ベースの生成アプローチにとって依然として困難であり、依然として、より小さな言語モデルの従来の識別アプローチのパフォーマンスを下回っています。

要約(オリジナル)

Objective: Most existing fine-tuned biomedical large language models (LLMs) focus on enhancing performance in monolingual biomedical question answering and conversation tasks. To investigate the effectiveness of the fine-tuned LLMs on diverse biomedical NLP tasks in different languages, We present Taiyi, a bilingual fine-tuned LLM for diverse biomedical tasks. Materials and Methods: We first curated a comprehensive collection of 140 existing biomedical text mining datasets (102 English and 38 Chinese datasets) across over 10 task types. Subsequently, a two-stage strategy is proposed for supervised fine-tuning to optimize the model performance across varied tasks. Results: Experimental results on 13 test sets covering named entity recognition, relation extraction, text classification, question answering tasks demonstrate that Taiyi achieves superior performance compared to general LLMs. The case study involving additional biomedical NLP tasks further shows Taiyi’s considerable potential for bilingual biomedical multi-tasking. Conclusion: Leveraging rich high-quality biomedical corpora and developing effective fine-tuning strategies can significantly improve the performance of LLMs within the biomedical domain. Taiyi shows the bilingual multi-tasking capability through supervised fine-tuning. However, those tasks such as information extraction that are not generation tasks in nature remain challenging for LLM-based generative approaches, and they still underperform the conventional discriminative approaches of smaller language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google