PromptMRG: Diagnosis-Driven Prompts for Medical Report Generation

要約

自動医療レポート生成 (MRG) は、放射線科医をレポート作成の重荷から解放する可能性があるため、研究価値が非常に高くなります。
最近の進歩にもかかわらず、正確な臨床理解と臨床所見の特定が必要なため、正確な MRG は依然として困難です。
さらに、希少疾患はトレーニング データで過小評価され、その診断パフォーマンスの信頼性が低くなるため、疾患の分布が不均衡であるため、課題はさらに顕著になります。
これらの課題に対処するために、診断を意識したプロンプトのガイダンスによって MRG の診断精度を向上させることを目的とした新しいフレームワークである、医療レポート生成のための診断主導型プロンプト (PromptMRG) を提案します。
具体的には、PromptMRG は、追加の疾患分類ブランチを備えたエンコーダー/デコーダー アーキテクチャに基づいています。
レポートを生成するとき、分類ブランチからの診断結果はトークン プロンプトに変換され、生成プロセスを明示的にガイドします。
診断精度をさらに向上させるために、クロスモーダル機能拡張を設計します。これは、データベースから同様のレポートを取得し、事前トレーニングされた CLIP からの知識を活用してクエリ画像の診断を支援します。
さらに、疾患の不均衡の問題は、各疾患の個別の学習ステータスに基づいて分類ブランチに適応ロジット調整損失を適用することで解決され、テキスト デコーダが疾患の分布を操作できないという障壁を克服します。
2 つの MRG ベンチマークに関する実験では、提案された方法の有効性が示されており、両方のデータセットで最先端の臨床有効性パフォーマンスが得られます。

要約(オリジナル)

Automatic medical report generation (MRG) is of great research value as it has the potential to relieve radiologists from the heavy burden of report writing. Despite recent advancements, accurate MRG remains challenging due to the need for precise clinical understanding and the identification of clinical findings. Moreover, the imbalanced distribution of diseases makes the challenge even more pronounced, as rare diseases are underrepresented in training data, making their diagnostic performance unreliable. To address these challenges, we propose diagnosis-driven prompts for medical report generation (PromptMRG), a novel framework that aims to improve the diagnostic accuracy of MRG with the guidance of diagnosis-aware prompts. Specifically, PromptMRG is based on encoder-decoder architecture with an extra disease classification branch. When generating reports, the diagnostic results from the classification branch are converted into token prompts to explicitly guide the generation process. To further improve the diagnostic accuracy, we design cross-modal feature enhancement, which retrieves similar reports from the database to assist the diagnosis of a query image by leveraging the knowledge from a pre-trained CLIP. Moreover, the disease imbalanced issue is addressed by applying an adaptive logit-adjusted loss to the classification branch based on the individual learning status of each disease, which overcomes the barrier of text decoder’s inability to manipulate disease distributions. Experiments on two MRG benchmarks show the effectiveness of the proposed method, where it obtains state-of-the-art clinical efficacy performance on both datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google