RadAdapt: Radiology Report Summarization via Lightweight Domain Adaptation of Large Language Models

要約

タイトル：大規模言語モデルによる軽量ドメイン適応による放射線学レポートの要約

要約：
– 「RadAdapt」という研究において、大規模言語モデル（LLMs）を放射線学レポートの要約（RRS）のタスクに適応させるための軽量戦略をシステム的に調査した。
– この研究では、自然言語、バイオ医学テキスト、そして臨床テキストの事前学習や、ゼロショット、インコンテキスト学習などのプロンプティングによるドメイン適応、またはパラメーターエフィシェントなファインチューニング（プレフィックスチューニング、LoRA）などが焦点となっている。
– MIMIC-IIIデータセットでの結果から、臨床テキストの事前学習とRRSの例に対するパラメーターエフィシェントなファインチューニングによる、最大限タスクに適応することで最高のパフォーマンスを示すことが一貫して示された。
– 重要なことに、この方法は、エンドツーエンドのファインチューニング（100％のパラメーター）とは対照的に、わずか0.32％のパラメーターをファインチューニングすることで実現される。
– さらに、インコンテキストの例やアウトオブディストリビューション（OOD）のトレーニングの影響を調査し、放射線科医のリーダースタディと質的分析で研究を結ぶ。
– 本研究の知見は、RRSにおけるドメイン適応の重要性を強調し、臨床的タスクのための効果的な自然言語処理ソリューションの開発に向けた貴重な洞察を提供する。

要約(オリジナル)

We systematically investigate lightweight strategies to adapt large language models (LLMs) for the task of radiology report summarization (RRS). Specifically, we focus on domain adaptation via pretraining (on natural language, biomedical text, and clinical text) and via prompting (zero-shot, in-context learning) or parameter-efficient fine-tuning (prefix tuning, LoRA). Our results on the MIMIC-III dataset consistently demonstrate best performance by maximally adapting to the task via pretraining on clinical text and parameter-efficient fine-tuning on RRS examples. Importantly, this method fine-tunes a mere 0.32% of parameters throughout the model, in contrast to end-to-end fine-tuning (100% of parameters). Additionally, we study the effect of in-context examples and out-of-distribution (OOD) training before concluding with a radiologist reader study and qualitative analysis. Our findings highlight the importance of domain adaptation in RRS and provide valuable insights toward developing effective natural language processing solutions for clinical tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI