Simultaneous Tri-Modal Medical Image Fusion and Super-Resolution using Conditional Diffusion Model

要約

臨床現場では、既存のデュアルモーダル技術と比較して、トリモーダル医用画像融合により病変のより包括的なビューが提供され、医師が疾患の形状、位置、生物学的活動を評価するのに役立ちます。
しかし、画像機器の限界と患者の安全性への配慮により、通常、医用画像の品質には限界があり、融合パフォーマンスが最適化されず、医師による画像分析の深度に影響を及ぼします。
したがって、画像解像度を向上させ、マルチモーダル情報を統合できる技術が緊急に必要とされています。
現在の画像処理方法は画像融合と超解像度に個別に効果的に対処できますが、両方の問題を同時に解決することは依然として非常に困難です。
本稿では、トリモーダル医用画像融合と超解像モデルを同時に実現するTFS-Diffを提案する。
特に、TFS-Diff は、ランダムな反復ノイズ除去プロセスの拡散モデル生成に基づいています。
また、単純な目的関数と提案された融合超解像損失を開発し、融合における不確実性を効果的に評価し、最適化プロセスの安定性を確保します。
また、チャネル アテンション モジュールは、臨床診断のためのさまざまなモダリティからの重要な情報を効果的に統合し、複数の画像処理によって引き起こされる情報損失を回避するために提案されています。
ハーバード大学の公開データセットに対する広範な実験により、TFS-Diff が定量的評価と視覚的評価の両方において既存の最先端の手法を大幅に上回っていることが示されています。
ソースコードは GitHub で入手できるようになります。

要約(オリジナル)

In clinical practice, tri-modal medical image fusion, compared to the existing dual-modal technique, can provide a more comprehensive view of the lesions, aiding physicians in evaluating the disease’s shape, location, and biological activity. However, due to the limitations of imaging equipment and considerations for patient safety, the quality of medical images is usually limited, leading to sub-optimal fusion performance, and affecting the depth of image analysis by the physician. Thus, there is an urgent need for a technology that can both enhance image resolution and integrate multi-modal information. Although current image processing methods can effectively address image fusion and super-resolution individually, solving both problems synchronously remains extremely challenging. In this paper, we propose TFS-Diff, a simultaneously realize tri-modal medical image fusion and super-resolution model. Specially, TFS-Diff is based on the diffusion model generation of a random iterative denoising process. We also develop a simple objective function and the proposed fusion super-resolution loss, effectively evaluates the uncertainty in the fusion and ensures the stability of the optimization process. And the channel attention module is proposed to effectively integrate key information from different modalities for clinical diagnosis, avoiding information loss caused by multiple image processing. Extensive experiments on public Harvard datasets show that TFS-Diff significantly surpass the existing state-of-the-art methods in both quantitative and visual evaluations. The source code will be available at GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google