CPLLM: Clinical Prediction with Large Language Models

要約

我々は、臨床疾患予測のために事前トレーニングされた大規模言語モデル (LLM) を微調整する方法である大規模言語モデルによる臨床予測 (CPLLM) を紹介します。
私たちは量子化を利用し、プロンプトを使用して LLM を微調整し、過去の診断記録を活用して、患者が次回の来院時またはその後の診断で標的疾患と診断されるかどうかを予測するというタスクを実行しました。
私たちは結果を、ロジスティック回帰、RETAIN、構造化 EHR データを使用した疾患予測の現在の最先端モデルである Med-BERT などのさまざまなベースラインと比較しました。
私たちの実験では、CPLLM が PR-AUC メトリックと ROC-AUC メトリックの両方の点でテストされたすべてのモデルを上回り、ベースライン モデルと比較して注目に値する機能強化が示されたことが示されました。

要約(オリジナル)

We present Clinical Prediction with Large Language Models (CPLLM), a method that involves fine-tuning a pre-trained Large Language Model (LLM) for clinical disease prediction. We utilized quantization and fine-tuned the LLM using prompts, with the task of predicting whether patients will be diagnosed with a target disease during their next visit or in the subsequent diagnosis, leveraging their historical diagnosis records. We compared our results versus various baselines, including Logistic Regression, RETAIN, and Med-BERT, which is the current state-of-the-art model for disease prediction using structured EHR data. Our experiments have shown that CPLLM surpasses all the tested models in terms of both PR-AUC and ROC-AUC metrics, displaying noteworthy enhancements compared to the baseline models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google