RadAdapt: Radiology Report Summarization via Lightweight Domain Adaptation of Large Language Models

要約

私たちは、放射線科レポート要約 (RRS) のタスクに大規模言語モデル (LLM) を適応させるための軽量戦略を系統的に研究しています。
具体的には、事前トレーニング (自然言語、生物医学テキスト、または臨床テキスト) および個別のプロンプトまたはパラメーター効率の高い微調整によるドメイン適応に焦点を当てています。
私たちの結果は、臨床テキストでの事前トレーニングと RRS 例での微調整を通じてタスクに最大限に適応することで、一貫して最高のパフォーマンスを達成します。
重要なのは、エンドツーエンドの微調整 (パラメーターの 100%) とは対照的に、この方法ではモデル全体のパラメーターのわずか 0.32% のみを微調整することです。
さらに、放射線科医の読者調査と定性分析で結論付ける前に、状況に応じた例と配布外 (OOD) トレーニングの効果を研究します。
私たちの調査結果は、RRS におけるドメイン適応の重要性を強調し、臨床業務用の効果的な自然言語処理ソリューションの開発に貴重な洞察を提供します。

要約(オリジナル)

We systematically investigate lightweight strategies to adapt large language models (LLMs) for the task of radiology report summarization (RRS). Specifically, we focus on domain adaptation via pretraining (on natural language, biomedical text, or clinical text) and via discrete prompting or parameter-efficient fine-tuning. Our results consistently achieve best performance by maximally adapting to the task via pretraining on clinical text and fine-tuning on RRS examples. Importantly, this method fine-tunes a mere 0.32% of parameters throughout the model, in contrast to end-to-end fine-tuning (100% of parameters). Additionally, we study the effect of in-context examples and out-of-distribution (OOD) training before concluding with a radiologist reader study and qualitative analysis. Our findings highlight the importance of domain adaptation in RRS and provide valuable insights toward developing effective natural language processing solutions for clinical tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google