Parameter-Efficient Fine-Tuning of LLaMA for the Clinical Domain

要約

事前トレーニングされた言語モデルを臨床アプリケーションなどの新しい領域に適応させるには、従来、パラメータのセット全体を再トレーニングする必要がありました。
ただし、このアプローチは、このような大規模な言語モデルのトレーニングに関連する大量の計算要件により、非現実的であることがますます証明されています。
この問題に対処するために、パラメータ効率の良い微調整 (PEFT) 技術は、追加パラメータの小さなサブセットを選択的に微調整することで実行可能なソリューションを提供し、ドメイン適応のための計算要件を大幅に削減します。
この研究では、オープンソースの LLaMA モデルに基づいて構築された PEFT アダプター層である Clinical LLaMA-LoRA を提案します。
臨床 LLaMA-LoRA は、MIMIC-IV データベースから取得した臨床ノートを使用してトレーニングされ、それによって臨床領域向けに設計された特殊なアダプターを作成します。
さらに、臨床 LLaMA-LoRA とダウンストリーム タスクに特化した別の PEFT アダプターであるダウンストリーム LLaMA-LoRA を融合する 2 ステップの PEFT フレームワークを提案します。
私たちはこのフレームワークを複数の臨床転帰予測データセットで評価し、臨床的に訓練された言語モデルと比較します。
私たちが提案したフレームワークは、すべての臨床下流タスクにわたって平均化された最先端の AUROC スコアを達成します。
診断や手順の分類など、大規模なマルチラベル分類タスクにおいて、AUROC スコアが 6 ～ 9% 大幅に向上したことが観察されています。

要約(オリジナル)

Adapting pretrained language models to novel domains, such as clinical applications, traditionally involves retraining their entire set of parameters. However, this approach is increasingly proven to be impractical owing to the substantial computational requirements associated with training such large language models. To address this issue, Parameter-Efficient Fine-Tuning (PEFT) techniques offer a viable solution by selectively fine-tuning a small subset of additional parameters, significantly reducing the computational requirements for domain adaptation. In this study, we propose Clinical LLaMA-LoRA, a PEFT adapter layer built upon the open-sourced LLaMA model. Clinical LLaMA-LoRA is trained using clinical notes obtained from the MIMIC-IV database, thereby creating a specialised adapter designed for the clinical domain. Additionally, we propose a two-step PEFT framework which fuses Clinical LLaMA-LoRA with Downstream LLaMA-LoRA, another PEFT adapter specialised for downstream tasks. We evaluate this framework on multiple clinical outcome prediction datasets, comparing it to clinically trained language models. Our proposed framework achieves a state-of-the-art AUROC score averaged across all clinical downstream tasks. We observe substantial improvements of 6-9% AUROC score in the large-scale multilabel classification tasks, such as diagnoses and procedures classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google