DRG-LLaMA : Tuning LLaMA Model to Predict Diagnosis-related Group for Hospitalized Patients

要約

米国の入院患者支払いシステムでは、診断関連グループ (DRG) が重要な役割を果たしていますが、現在の割り当てプロセスには時間がかかります。
DRG 予測を改善するために臨床ノートに基づいて微調整された大規模言語モデル (LLM) である DRG-LLaMA を紹介します。
Meta の LLaMA をベースモデルとして使用し、236,192 件の MIMIC-IV 退院サマリーに対して低ランク適応 (LoRA) で最適化しました。
入力トークン長 512 で、DRG-LLaMA-7B はマクロ平均 F1 スコア 0.327、トップ 1 予測精度 52.0%、マクロ平均曲線下面積 (AUC) 0.986 を達成しました。
印象的なことに、DRG-LLaMA-7B は、このタスクに関して以前に報告された主要なモデルを上回り、ClinicalBERT と比較して 40.3%、CAML と比較して 35.7% のマクロ平均 F1 スコアの相対的な改善を示しました。
DRG-LLaMA を適用してベース DRG および合併症または併存疾患 (CC) / 重度の合併症または併存疾患 (MCC) を予測すると、上位 1 位の予測精度はベース DRG で 67.8%、CC/MCC ステータスで 67.5% に達しました。
DRG-LLaMA のパフォーマンスは、モデル パラメーターが大きくなり、入力コンテキストの長さが長くなると、相関関係が向上します。
さらに、LoRA を使用すると、48 GB の VRAM を備えた小型の GPU でもトレーニングが可能になり、DRG 予測に LLM を適応させる可能性が強調されます。

要約(オリジナル)

In the U.S. inpatient payment system, the Diagnosis-Related Group (DRG) plays a key role but its current assignment process is time-consuming. We introduce DRG-LLaMA, a large language model (LLM) fine-tuned on clinical notes for improved DRG prediction. Using Meta’s LLaMA as the base model, we optimized it with Low-Rank Adaptation (LoRA) on 236,192 MIMIC-IV discharge summaries. With an input token length of 512, DRG-LLaMA-7B achieved a macro-averaged F1 score of 0.327, a top-1 prediction accuracy of 52.0% and a macro-averaged Area Under the Curve (AUC) of 0.986. Impressively, DRG-LLaMA-7B surpassed previously reported leading models on this task, demonstrating a relative improvement in macro-averaged F1 score of 40.3% compared to ClinicalBERT and 35.7% compared to CAML. When DRG-LLaMA is applied to predict base DRGs and complication or comorbidity (CC) / major complication or comorbidity (MCC), the top-1 prediction accuracy reached 67.8% for base DRGs and 67.5% for CC/MCC status. DRG-LLaMA performance exhibits improvements in correlation with larger model parameters and longer input context lengths. Furthermore, usage of LoRA enables training even on smaller GPUs with 48 GB of VRAM, highlighting the viability of adapting LLMs for DRGs prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google