IMPACT: A Generic Semantic Loss for Multimodal Medical Image Registration

要約

画像登録は医療イメージングの基本であり、診断、治療計画、画像誘導治療、または縦断的監視のための解剖学的構造の正確な整合性を可能にします。
この作業では、多様な画像登録フレームワーク（ElastixやVoxelmorphなど）にシームレスな統合のために設計された一般的なセマンティックな類似性メトリックである、Transmodality Registrationの前のモデルと存在の比較を伴う画像メトリック）を導入します。
タスク固有のトレーニングを必要とせずに医療画像から抽出された深い学習ベースの機能を比較し、さまざまなモダリティにわたって幅広い適用性を確保します。
大規模な事前に処理されたTotalSegmentatorモデルの特徴と、モデル（SAM）やその他の大規模セグメンテーションネットワークをセグメント化する機能を活用することにより、このアプローチは大きな利点を提供します。
マルチモーダル画像登録に堅牢でスケーラブルで効率的なソリューションを提供します。
影響損失は、胸部CT/CBCTおよび骨盤MR/CTデータセットを含む5つの挑戦的な登録タスクで評価されました。
ターゲット登録エラーやサイコロの類似性係数などの定量的メトリックは、ベースライン方法と比較して解剖学的アラインメントの大幅な改善を示しました。
定性分析により、ノイズ、アーティファクト、およびモダリティのバリエーションに直面して、提案されたメトリックの堅牢性の増加がさらに確認されました。
Impactの汎用性と効率性により、臨床および研究アプリケーションの登録パフォーマンスを進めるための貴重なツールになり、マルチモーダル医療イメージングの重要な課題に対処します。

要約(オリジナル)

Image registration is fundamental in medical imaging, enabling precise alignment of anatomical structures for diagnosis, treatment planning, image-guided treatment or longitudinal monitoring. This work introduces IMPACT (Image Metric with Pretrained model-Agnostic Comparison for Transmodality registration), a generic semantic similarity metric designed for seamless integration into diverse image registration frameworks (such as Elastix and Voxelmorph). It compares deep learning-based features extracted from medical images without requiring task-specific training, ensuring broad applicability across various modalities. By leveraging the features of the large-scale pretrained TotalSegmentator models and the ability to integrate Segment Anything Model (SAM) and other large-scale segmentation networks, this approach offers significant advantages. It provides robust, scalable, and efficient solutions for multimodal image registration. The IMPACT loss was evaluated on five challenging registration tasks involving thoracic CT/CBCT, and pelvic MR/CT datasets. Quantitative metrics, such as Target Registration Error and Dice Similarity Coefficient, demonstrated significant improvements in anatomical alignment compared to baseline methods. Qualitative analyses further confirmed the increased robustness of the proposed metric in the face of noise, artifacts, and modality variations. IMPACT’s versatility and efficiency make it a valuable tool for advancing registration performance in clinical and research applications, addressing critical challenges in multimodal medical imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google