PatientDx: Merging Large Language Models for Protecting Data-Privacy in Healthcare

要約

大規模な言語モデル（LLMS）の微調整は、特定のタスクのモデルパフォーマンスを改善するためのデフォルトの練習となっています。
ただし、パフォーマンスの改善は、膨大な量の注釈付きデータに関するトレーニングのコストでもたらされ、重要なデータプライバシーの懸念につながる可能性があります。
特に、ヘルスケアドメインは、データプライバシーの問題にさらされている最も敏感なドメインの1つです。
このホワイトペーパーでは、患者データの微調整や適応を必要とせずに、健康予測タスクに効果的なLLMSの設計を可能にするモデルマージのフレームワークであるPatientDXを提示します。
私たちの提案は、LLMSのマージとして知られる最近提案された手法に基づいており、ビルディングブロックのマージ戦略を最適化することを目的としています。
PatientDXは、数値の推論に適応された重要なモデルを使用し、パフォーマンスメトリックに基づいたが、これらのデータでLLMをトレーニングすることはありません。
MIMIC-IVデータセットの死亡タスクを使用した実験は、初期モデルと比較した場合、AUROCに関して最大​​7％の改善を示しています。
さらに、微調整されたモデルと比較した場合、私たちの提案は、パフォーマンスを損なうことなくデータリークの問題になる傾向が低いことを確認します。
最後に、ケーススタディを通じて提案の能力を定性的に示します。
私たちの最高のモデルは、https：//huggingface.co/ jgmorenof/mistral \ _merged \ _0 \ _4で公開されています。

要約(オリジナル)

Fine-tuning of Large Language Models (LLMs) has become the default practice for improving model performance on a given task. However, performance improvement comes at the cost of training on vast amounts of annotated data which could be sensitive leading to significant data privacy concerns. In particular, the healthcare domain is one of the most sensitive domains exposed to data privacy issues. In this paper, we present PatientDx, a framework of model merging that allows the design of effective LLMs for health-predictive tasks without requiring fine-tuning nor adaptation on patient data. Our proposal is based on recently proposed techniques known as merging of LLMs and aims to optimize a building block merging strategy. PatientDx uses a pivotal model adapted to numerical reasoning and tunes hyperparameters on examples based on a performance metric but without training of the LLM on these data. Experiments using the mortality tasks of the MIMIC-IV dataset show improvements up to 7% in terms of AUROC when compared to initial models. Additionally, we confirm that when compared to fine-tuned models, our proposal is less prone to data leak problems without hurting performance. Finally, we qualitatively show the capabilities of our proposal through a case study. Our best model is publicly available at https://huggingface.co/ Jgmorenof/mistral\_merged\_0\_4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google