Mono-Modalizing Extremely Heterogeneous Multi-Modal Medical Image Registration

要約

臨床診療では、陽電子放出断層撮影（PET）や分数異方性（FA）などの機能的特性を備えたイメージングモダリティは、しばしば正確な解釈またはグループ分析のための構造的参照（MRI、CT）と整合し、マルチモーダルの変形可能な画像登録（DIR）を必要とします。
ただし、標準的な構造スキャンと比較してこれらのモダリティの極端な不均一性のため、従来の監視されていないDIRメソッドは、信頼できる空間マッピングを学び、しばしば画像を歪めるのに苦労しています。
これらのモデルを導く類似性メトリックは、非常に異なるモダリティ間のアラインメントをキャプチャできないことがわかります。
これに対処するために、既存のモデルへのシームレスな統合のために確立されたアーキテクチャパラダイムを保存しながら、モノモーダルの類似性のみを使用してマルチモーダルDIRモデルをトレーニングする新しいフレームワークであるM2M-REG（マルチからモノ登録）を提案します。
また、M2M-Regの環状トレーニングスキームを活用してDiffeyomorphismを促進する正規者であるGradcyconも紹介します。
さらに、私たちのフレームワークは、自然に半監視された設定に拡張され、地上の真実の変換やセグメンテーションマスクを必要とせずに、事前に整列していないペアのみを統合します。
アルツハイマー病神経画像イニシアチブ（ADNI）データセットに関する実験は、M2M-REGがPET-MRIおよびFA-MRI登録の以前の方法よりも最大2倍高いDSCを達成し、非常に異種の多数のマルチモーダル監督を処理する際の有効性を強調していることを示しています。
私たちのコードは、https：//github.com/micv-yonsei/m2m-regで入手できます。

要約(オリジナル)

In clinical practice, imaging modalities with functional characteristics, such as positron emission tomography (PET) and fractional anisotropy (FA), are often aligned with a structural reference (e.g., MRI, CT) for accurate interpretation or group analysis, necessitating multi-modal deformable image registration (DIR). However, due to the extreme heterogeneity of these modalities compared to standard structural scans, conventional unsupervised DIR methods struggle to learn reliable spatial mappings and often distort images. We find that the similarity metrics guiding these models fail to capture alignment between highly disparate modalities. To address this, we propose M2M-Reg (Multi-to-Mono Registration), a novel framework that trains multi-modal DIR models using only mono-modal similarity while preserving the established architectural paradigm for seamless integration into existing models. We also introduce GradCyCon, a regularizer that leverages M2M-Reg’s cyclic training scheme to promote diffeomorphism. Furthermore, our framework naturally extends to a semi-supervised setting, integrating pre-aligned and unaligned pairs only, without requiring ground-truth transformations or segmentation masks. Experiments on the Alzheimer’s Disease Neuroimaging Initiative (ADNI) dataset demonstrate that M2M-Reg achieves up to 2x higher DSC than prior methods for PET-MRI and FA-MRI registration, highlighting its effectiveness in handling highly heterogeneous multi-modal DIR. Our code is available at https://github.com/MICV-yonsei/M2M-Reg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google