ImpressionGPT: An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT

要約

【タイトル】ChatGPTを用いた放射線学レポート要約の反復最適化フレームワーク「ImpressionGPT」
【要約】
– 放射線学レポートの「Impression」セクションは、放射線科医師と他の医師のコミュニケーションの重要な基盤であり、通常、放射線科医師は「Findings」セクションに基づいて記述します。
– しかし、多数のImpressionを書くことは、放射線科医師にとって労働量が多く誤りが生じる可能性があります。
– 最近の研究により、大規模な医療テキストデータを事前学習と微調整に使用して自動Impression生成の有望な結果を実現しています。しかし、このようなモデルは多大な数の医療テキストデータを必要とし、一般化性能が低いという問題があります。
– 大規模言語モデル（LLM）のChatGPTなどのモデルは、一般的な能力と性能を示していますが、放射線学などの特定のドメインにおける性能は未だに不十分であり、限定的な可能性があります。
– この問題に対処するために、ドメイン固有、個別化されたデータを使用して動的プロンプトを構築し、LLMのコンテキスト学習能力を活用するImpressionGPTを提案しました。この動的プロンプトアプローチにより、既存のデータから意味的に類似した例を使用してモデルがコンテキスト知識を学習することができます。
– さらに、生成されたImpression結果の自動評価を実行し、対応する指示プロンプトを構成する反復最適化アルゴリズムを設計しました。提案されたImpressionGPTモデルは、追加のトレーニングデータやLLMの微調整を必要とせず、MIMIC-CXRおよびOpenIデータセットの両方で最先端の性能を発揮します。
– この研究は、一般目的のLLMと様々なドメインの特定の言語処理ニーズを結びつけることができるLLMのローカライズのパラダイムを示しており、同様の応用シナリオに広く適用できます。

要約(オリジナル)

The ‘Impression’ section of a radiology report is a critical basis for communication between radiologists and other physicians, and it is typically written by radiologists based on the ‘Findings’ section. However, writing numerous impressions can be laborious and error-prone for radiologists. Although recent studies have achieved promising results in automatic impression generation using large-scale medical text data for pre-training and fine-tuning pre-trained language models, such models often require substantial amounts of medical text data and have poor generalization performance. While large language models (LLMs) like ChatGPT have shown strong generalization capabilities and performance, their performance in specific domains, such as radiology, remains under-investigated and potentially limited. To address this limitation, we propose ImpressionGPT, which leverages the in-context learning capability of LLMs by constructing dynamic contexts using domain-specific, individualized data. This dynamic prompt approach enables the model to learn contextual knowledge from semantically similar examples from existing data. Additionally, we design an iterative optimization algorithm that performs automatic evaluation on the generated impression results and composes the corresponding instruction prompts to further optimize the model. The proposed ImpressionGPT model achieves state-of-the-art performance on both MIMIC-CXR and OpenI datasets without requiring additional training data or fine-tuning the LLMs. This work presents a paradigm for localizing LLMs that can be applied in a wide range of similar application scenarios, bridging the gap between general-purpose LLMs and the specific language processing needs of various domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI