Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse Biomedical Tasks

要約

大規模言語モデル (LLM) の最近の進歩により、さまざまな自然言語処理 (NLP) タスクにわたって有望な結果が示されています。
生物医学などの特定の領域への LLM の応用が注目を集めています。
ただし、ほとんどの生物医学 LLM は、単一言語の生物医学的な質問応答および会話タスクのパフォーマンスを向上させることに重点を置いています。
さまざまな言語での多様な生物医学 NLP タスクに対する LLM の有効性をさらに調査するために、多様な生物医学タスク向けにバイリンガル (英語と中国語) で微調整された LLM である Taiyi を紹介します。
この作業では、まず 10 を超えるタスク タイプにわたる 140 の既存の生物医学テキスト マイニング データセットの包括的なコレクションを厳選しました。
続いて、さまざまなタスクにわたってモデルのパフォーマンスを最適化するための教師あり微調整のための 2 段階の戦略が提案されます。
固有表現認識、関係抽出、テキスト分類、質問応答タスクをカバーする 13 のテスト セットの実験結果は、Taiyi が一般的な LLM と比較して優れたパフォーマンスを達成することを示しています。
追加の生物医学的 NLP タスクを含むケーススタディは、Taiyi のバイリンガル生物医学的マルチタスクに対する大きな可能性をさらに示しています。
Taiyi のソース コード、データセット、モデルは、https://github.com/DUTIR-BioNLP/Taiyi-LLM から無料で入手できます。

要約(オリジナル)

Recent advancements in large language models (LLMs) have shown promising results across a variety of natural language processing (NLP) tasks. The application of LLMs to specific domains, such as biomedicine, has achieved increased attention. However, most biomedical LLMs focus on enhancing performance in monolingual biomedical question answering and conversation tasks. To further investigate the effectiveness of the LLMs on diverse biomedical NLP tasks in different languages, we present Taiyi, a bilingual (English and Chinese) fine-tuned LLM for diverse biomedical tasks. In this work, we first curated a comprehensive collection of 140 existing biomedical text mining datasets across over 10 task types. Subsequently, a two-stage strategy is proposed for supervised fine-tuning to optimize the model performance across varied tasks. Experimental results on 13 test sets covering named entity recognition, relation extraction, text classification, question answering tasks demonstrate Taiyi achieves superior performance compared to general LLMs. The case study involving additional biomedical NLP tasks further shows Taiyi’s considerable potential for bilingual biomedical multi-tasking. The source code, datasets, and model for Taiyi are freely available at https://github.com/DUTIR-BioNLP/Taiyi-LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google