CT2Rep: Automated Radiology Report Generation for 3D Medical Imaging

要約

医療画像は診断において重要な役割を果たし、放射線医学レポートは重要な文書として機能します。
レポート作成の自動化は、放射線科医の作業負荷を軽減するための重要なニーズとして浮上しています。
機械学習により 2D 医用画像のレポート生成が容易になりましたが、これを 3D に拡張することは、計算の複雑さとデータ不足のため未開発でした。
特に胸部 CT ボリュームを対象とした、3D 医療画像用の放射線レポートを生成する最初の方法を紹介します。
同等の手法が存在しないことを考慮して、医療画像処理における高度な 3D ビジョン エンコーダを使用してベースラインを確立し、新しい自己回帰因果変換器を利用する手法の有効性を実証します。
さらに、以前の訪問からの情報を活用する利点を認識して、クロスアテンションベースのマルチモーダル融合モジュールと階層メモリで CT2Rep を強化し、長期的なマルチモーダルデータの組み込みを可能にします。
コードにアクセスするには: https://github.com/ibrahimethemhamamci/CT2Rep

要約(オリジナル)

Medical imaging plays a crucial role in diagnosis, with radiology reports serving as vital documentation. Automating report generation has emerged as a critical need to alleviate the workload of radiologists. While machine learning has facilitated report generation for 2D medical imaging, extending this to 3D has been unexplored due to computational complexity and data scarcity. We introduce the first method to generate radiology reports for 3D medical imaging, specifically targeting chest CT volumes. Given the absence of comparable methods, we establish a baseline using an advanced 3D vision encoder in medical imaging to demonstrate our method’s effectiveness, which leverages a novel auto-regressive causal transformer. Furthermore, recognizing the benefits of leveraging information from previous visits, we augment CT2Rep with a cross-attention-based multi-modal fusion module and hierarchical memory, enabling the incorporation of longitudinal multimodal data. Access our code at: https://github.com/ibrahimethemhamamci/CT2Rep

arxiv情報

提供元, 利用サービス

arxiv.jp, Google