Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events

要約

GPT-4 などの大規模言語モデル (LLM) は、健康アプリケーションを含む幅広いタスクにわたって優れた機能を実証しています。
この論文では、LLM を使用して生物医学知識のキュレーションをスケールする方法を研究します。
LLM はすでに生物医学テキストの構造化において十分な能力を備えていますが、自己教師あり学習を通じてタスク固有の学生モデルに蒸留することにより、コストや効率などの追加の利点とともに、既製の LLM よりも大幅な利益を達成できることがわかりました。
、およびホワイトボックス モデルへのアクセス。
私たちは、ケアを改善するための重要な分野である薬物有害事象 (ADE) 抽出に関するケーススタディを実施します。
標準的な ADE 抽出評価では、GPT-3.5 蒸留 PubMedBERT モデルは、ラベル付きデータを使用せずに、教師ありの最先端モデルと同等の精度を達成しました。
1,000 分の 1 以上小さいにもかかわらず、この蒸留モデルは、F1 では教師である GPT-3.5 を 6 絶対ポイント以上、GPT-4 を 5 絶対ポイント以上上回りました。
蒸留モデルの選択 (PubMedBERT と BioGPT など) および ADE 抽出アーキテクチャに関するアブレーション研究により、生物医学知識抽出のベスト プラクティスが明らかになりました。
遺伝子と疾患の関連性や保護された健康情報など、他の標準的な生物医学知識抽出タスクでも蒸留によって同様の利益が得られ、このアプローチの有望性がさらに実証されました。

要約(オリジナル)

Large language models (LLMs), such as GPT-4, have demonstrated remarkable capabilities across a wide range of tasks, including health applications. In this paper, we study how LLMs can be used to scale biomedical knowledge curation. We find that while LLMs already possess decent competency in structuring biomedical text, by distillation into a task-specific student model through self-supervised learning, substantial gains can be attained over out-of-box LLMs, with additional advantages such as cost, efficiency, and white-box model access. We conduct a case study on adverse drug event (ADE) extraction, which is an important area for improving care. On standard ADE extraction evaluation, a GPT-3.5 distilled PubMedBERT model attained comparable accuracy as supervised state-of-the-art models without using any labeled data. Despite being over 1,000 times smaller, the distilled model outperformed its teacher GPT-3.5 by over 6 absolute points in F1 and GPT-4 by over 5 absolute points. Ablation studies on distillation model choice (e.g., PubMedBERT vs BioGPT) and ADE extraction architecture shed light on best practice for biomedical knowledge extraction. Similar gains were attained by distillation for other standard biomedical knowledge extraction tasks such as gene-disease associations and protected health information, further illustrating the promise of this approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google