Matching in the Wild: Learning Anatomical Embeddings for Multi-Modality Images

要約

放射線療法士は、両方のモダリティからの情報を効果的に使用するために、MR/CT 画像を正確に位置合わせする必要があります。
一般的な登録パイプラインでは、変形ステップに進む前に、固定画像と移動画像を大まかに位置合わせするために剛体変換またはアフィン変換が適用されます。
最近の学習ベースの手法はリジッド/アフィン ステップで有望な結果を示していますが、これらの手法では多くの場合、位置合わせを成功させるために同様の視野 (FOV) を持つ画像が必要です。
その結果、異なる FOV で画像を位置合わせすることは依然として困難な作業です。
自己教師あり解剖学的 eMbedding (SAM) のような自己教師ありランドマーク検出手法は、画像を同様の FOV にマッピングおよびトリミングするための便利なツールとして登場しました。
ただし、これらの方法は現在、モダリティ内での使用にのみ限定されています。
この制限に対処し、クロスモダリティ照合を可能にするために、Cross-SAM と呼ばれる新しいアプローチを提案します。
私たちのアプローチは、埋め込み学習と CT-MRI 登録を交互に行う新しい反復プロセスを利用します。
まず、CT と MRI 画像の両方に積極的なコントラスト増強を適用して、SAM モデルをトレーニングします。
次に、この SAM を使用して、堅牢な格子点マッチングを使用してペア画像上の対応する領域を識別し、その後、点セットベースのアフィン/リジッド位置合わせと、変形可能な微調整ステップを実行して、位置合わせされたペア画像を生成します。
これらの登録されたペアを使用して SAM のマッチング機能を強化し、反復処理します。
クロスモダリティマッチングタスクには最終モデルを使用します。
2 つの CT-MRI アフィン位置合わせデータセットでアプローチを評価したところ、Cross-SAM が両方のデータセットで堅牢なアフィン位置合わせを達成し、他の方法を大幅に上回り、最先端のパフォーマンスを達成したことがわかりました。

要約(オリジナル)

Radiotherapists require accurate registration of MR/CT images to effectively use information from both modalities. In a typical registration pipeline, rigid or affine transformations are applied to roughly align the fixed and moving images before proceeding with the deformation step. While recent learning-based methods have shown promising results in the rigid/affine step, these methods often require images with similar field-of-view (FOV) for successful alignment. As a result, aligning images with different FOVs remains a challenging task. Self-supervised landmark detection methods like self-supervised Anatomical eMbedding (SAM) have emerged as a useful tool for mapping and cropping images to similar FOVs. However, these methods are currently limited to intra-modality use only. To address this limitation and enable cross-modality matching, we propose a new approach called Cross-SAM. Our approach utilizes a novel iterative process that alternates between embedding learning and CT-MRI registration. We start by applying aggressive contrast augmentation on both CT and MRI images to train a SAM model. We then use this SAM to identify corresponding regions on paired images using robust grid-points matching, followed by a point-set based affine/rigid registration, and a deformable fine-tuning step to produce registered paired images. We use these registered pairs to enhance the matching ability of SAM, which is then processed iteratively. We use the final model for cross-modality matching tasks. We evaluated our approach on two CT-MRI affine registration datasets and found that Cross-SAM achieved robust affine registration on both datasets, significantly outperforming other methods and achieving state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google