An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT

要約

放射線科レポートの「感想」セクションは、放射線科医と他の医師との間のコミュニケーションの重要な基礎であり、通常は「所見」セクションに基づいて放射線科医によって書かれます。
しかし、放射線科医にとって、多数の印象を書くのは骨の折れる作業であり、間違いが発生しやすいものです。
最近の研究では、事前トレーニングおよび事前トレーニング済み言語モデルの微調整に大規模な医療テキスト データを使用した自動印象生成で有望な結果が得られていますが、そのようなモデルは多くの場合、大量の医療テキスト データを必要とし、汎化パフォーマンスが不十分です。
ChatGPT のような大規模言語モデル (LLM) は強力な一般化機能とパフォーマンスを示していますが、放射線医学などの特定の領域でのパフォーマンスは依然として十分に調査されておらず、制限される可能性があります。
この制限に対処するために、私たちは ImpressionGPT を提案します。これは、ドメイン固有の個別データを使用して動的コンテキストを構築することにより、LLM のインコンテキスト学習機能を活用します。
この動的なプロンプト アプローチにより、モデルは既存のデータの意味的に類似した例から文脈上の知識を学習できるようになります。
さらに、生成されたインプレッション結果に対して自動評価を実行し、モデルをさらに最適化するために対応する指示プロンプトを構成する反復最適化アルゴリズムを設計します。
提案された ImpressionGPT モデルは、追加のトレーニング データや LLM の微調整を必要とせずに、MIMIC-CXR と OpenI データセットの両方で最先端のパフォーマンスを実現します。
この研究は、広範囲の同様のアプリケーション シナリオに適用できる LLM のローカライズのパラダイムを提示し、汎用 LLM とさまざまなドメインの特定の言語処理ニーズとの間のギャップを橋渡しします。

要約(オリジナル)

The ‘Impression’ section of a radiology report is a critical basis for communication between radiologists and other physicians, and it is typically written by radiologists based on the ‘Findings’ section. However, writing numerous impressions can be laborious and error-prone for radiologists. Although recent studies have achieved promising results in automatic impression generation using large-scale medical text data for pre-training and fine-tuning pre-trained language models, such models often require substantial amounts of medical text data and have poor generalization performance. While large language models (LLMs) like ChatGPT have shown strong generalization capabilities and performance, their performance in specific domains, such as radiology, remains under-investigated and potentially limited. To address this limitation, we propose ImpressionGPT, which leverages the in-context learning capability of LLMs by constructing dynamic contexts using domain-specific, individualized data. This dynamic prompt approach enables the model to learn contextual knowledge from semantically similar examples from existing data. Additionally, we design an iterative optimization algorithm that performs automatic evaluation on the generated impression results and composes the corresponding instruction prompts to further optimize the model. The proposed ImpressionGPT model achieves state-of-the-art performance on both MIMIC-CXR and OpenI datasets without requiring additional training data or fine-tuning the LLMs. This work presents a paradigm for localizing LLMs that can be applied in a wide range of similar application scenarios, bridging the gap between general-purpose LLMs and the specific language processing needs of various domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google