RaDialog: A Large Vision-Language Model for Radiology Report Generation and Conversational Assistance

要約

特定の医療画像について臨床的に正しい放射線医学レポートを生成して議論できる会話型 AI ツールは、放射線医学を変革する可能性を秘めています。
このような人間参加型の放射線医学アシスタントは、共同の診断プロセスを促進し、時間を節約し、レポートの品質を向上させることができます。
この目標に向けて、放射線科レポート生成とインタラクティブな対話のための、徹底的に評価され、一般に利用できる初めての大規模ビジョン言語モデルである RaDialog を導入します。
RaDialog は、視覚画像の特徴と構造化された病理学的所見を大規模言語モデル (LLM) と効果的に統合し、同時にパラメータ効率の高い微調整を使用して特殊な領域に適応させます。
基礎となる LLM の会話能力を維持するために、胸部 X 線放射線学タスク用の包括的で、半自動的にラベル付けされ、画像に基づいた指示データセットを提案します。
このデータセットを使用してトレーニングすることにより、私たちの方法はレポート生成において最先端の臨床的正確性を達成し、レポートの修正や質問への回答などの対話型タスクで優れた能力を示し、臨床対話システムへの基礎的なステップとして機能します。
私たちのコードは github: https://github.com/ChantalMP/RaDialog で入手できます。

要約(オリジナル)

Conversational AI tools that can generate and discuss clinically correct radiology reports for a given medical image have the potential to transform radiology. Such a human-in-the-loop radiology assistant could facilitate a collaborative diagnostic process, thus saving time and improving the quality of reports. Towards this goal, we introduce RaDialog, the first thoroughly evaluated and publicly available large vision-language model for radiology report generation and interactive dialog. RaDialog effectively integrates visual image features and structured pathology findings with a large language model (LLM) while simultaneously adapting it to a specialized domain using parameter-efficient fine-tuning. To keep the conversational abilities of the underlying LLM, we propose a comprehensive, semi-automatically labeled, image-grounded instruct dataset for chest X-ray radiology tasks. By training with this dataset, our method achieves state-of-the-art clinical correctness in report generation and shows impressive abilities in interactive tasks such as correcting reports and answering questions, serving as a foundational step toward clinical dialog systems. Our code is available on github: https://github.com/ChantalMP/RaDialog.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google