SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization

要約

電子カルテ（EHR）には、病歴、診断、治療、検査結果など、さまざまな患者情報が保存されている。これらの記録は、医療従事者が患者のケアに関して十分な情報に基づいた決定を下すために極めて重要である。クリニカルノートを要約することで、医療従事者は潜在的な健康リスクを特定し、より良い情報に基づいた意思決定を行うことができる。このプロセスは、医療従事者が最も適切で最新の患者データにアクセスできるようにすることで、エラーを減らし、患者の転帰を向上させることに貢献します。最近の研究では、大規模言語モデル（LLM）にプロンプトを組み込むことで、要約タスクの有効性が大幅に向上することが示されている。しかし、我々は、このアプローチが出力のばらつきを増大させ、プロンプトが同じような意味を持つ場合でも、出力が著しく異なることを示す。この課題に取り組むために、我々は、プロンプトベースの要約の利点を維持しながら、分散を減少させるためにソフトプロンプトを採用する、モデルに依存しないソフトプロンプトベースのキャリブレーション（SPeC）パイプラインを導入する。複数のクリニカルノートタスクとLLMを用いた実験結果から、我々の手法はパフォーマンスを向上させるだけでなく、様々なLLMの分散を効果的に抑制し、重要な医療情報を要約するための、より均一で信頼性の高いソリューションを提供することが示される。

要約(オリジナル)

Electronic health records (EHRs) store an extensive array of patient information, encompassing medical histories, diagnoses, treatments, and test outcomes. These records are crucial for enabling healthcare providers to make well-informed decisions regarding patient care. Summarizing clinical notes further assists healthcare professionals in pinpointing potential health risks and making better-informed decisions. This process contributes to reducing errors and enhancing patient outcomes by ensuring providers have access to the most pertinent and current patient data. Recent research has shown that incorporating prompts with large language models (LLMs) substantially boosts the efficacy of summarization tasks. However, we show that this approach also leads to increased output variance, resulting in notably divergent outputs even when prompts share similar meanings. To tackle this challenge, we introduce a model-agnostic Soft Prompt-Based Calibration (SPeC) pipeline that employs soft prompts to diminish variance while preserving the advantages of prompt-based summarization. Experimental findings on multiple clinical note tasks and LLMs indicate that our method not only bolsters performance but also effectively curbs variance for various LLMs, providing a more uniform and dependable solution for summarizing vital medical information.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL