SPeC: A Soft Prompt-Based Calibration on Mitigating Performance Variability in Clinical Notes Summarization

要約

電子医療記録 (EHR) には、病歴、診断、治療、検査結果など、広範な患者情報が保存されています。
これらの記録は、医療提供者が患者のケアに関して十分な情報に基づいた決定を下せるようにするために重要です。
臨床記録を要約することは、医療専門家が潜在的な健康リスクを特定し、より多くの情報に基づいた意思決定を行うのにさらに役立ちます。
このプロセスは、プロバイダーが最も関連性の高い最新の患者データにアクセスできるようにすることで、エラーを減らし、患者の転帰を向上させることに貢献します。
最近の調査では、プロンプトを大規模言語モデル (LLM) に組み込むと、要約タスクの効率が大幅に向上することが示されています。
ただし、このアプローチは出力の分散の増加にもつながり、プロンプトが同様の意味を共有している場合でも、出力が著しく異なることを示しています。
この課題に取り組むために、モデルに依存しないソフト プロンプト ベースのキャリブレーション (SPeC) パイプラインを導入します。これは、プロンプト ベースの要約の利点を維持しながら、分散を減らすためにソフト プロンプトを使用します。
複数の臨床ノート タスクと LLM に関する実験結果は、私たちの方法がパフォーマンスを強化するだけでなく、さまざまな LLM の分散を効果的に抑制し、重要な医療情報を要約するためのより均一で信頼できるソリューションを提供することを示しています。

要約(オリジナル)

Electronic health records (EHRs) store an extensive array of patient information, encompassing medical histories, diagnoses, treatments, and test outcomes. These records are crucial for enabling healthcare providers to make well-informed decisions regarding patient care. Summarizing clinical notes further assists healthcare professionals in pinpointing potential health risks and making better-informed decisions. This process contributes to reducing errors and enhancing patient outcomes by ensuring providers have access to the most pertinent and current patient data. Recent research has shown that incorporating prompts with large language models (LLMs) substantially boosts the efficacy of summarization tasks. However, we show that this approach also leads to increased output variance, resulting in notably divergent outputs even when prompts share similar meanings. To tackle this challenge, we introduce a model-agnostic Soft Prompt-Based Calibration (SPeC) pipeline that employs soft prompts to diminish variance while preserving the advantages of prompt-based summarization. Experimental findings on multiple clinical note tasks and LLMs indicate that our method not only bolsters performance but also effectively curbs variance for various LLMs, providing a more uniform and dependable solution for summarizing vital medical information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google