One registration is worth two segmentations

要約

画像レジストレーションの目的は、伝統的に高密度変位フィールド (DDF) またはパラメトリック変換 (リジッド、アフィン、スプラインなど) を通じて、2 つ以上の画像間の空間的対応を確立することです。
空間変換によって位置合わせを達成するという既存のパラダイムを再考することで、代替ではあるがより直観的な対応表現、つまり対応する関心領域 (ROI) ペアのセットを発見します。これは、他の対応表現方法と同様に十分な表現能力があることを実証します。
、これらの ROI が特定の解剖学的または意味論的な重要性を保持することは必要でも十分でもありません。
次に、移動画像と固定画像の両方から対応する ROI の同じセットを検索することとして画像レジストレーションを定式化します。つまり、1 対の画像に対する 2 つのマルチクラス セグメンテーション タスクです。
汎用的で実用的な実装のために、セグメント エニシング モデル (SAM) を提案アルゴリズムに統合し、トレーニング データ、勾配ベースの微調整、またはエンジニアリングされたプロンプトを必要としない SAM 対応登録 (SAMReg) を実現します。
。
我々は、前立腺MR画像、心臓MR画像、腹部CT画像の登録という3つの臨床応用において、提案されたSAMRegが十分に正確な対応を確立する複数のROIペアをセグメント化してマッチングできることを実験的に示した。
ダイスや解剖学的構造上のターゲット位置合わせエラーを含むメトリクスに基づいて、提案された位置合わせは、強度ベースの反復アルゴリズムと DDF 予測学習ベースのネットワークの両方を上回り、完全にセグメント化されたトレーニング データを必要とする弱い教師付き位置合わせでも競争力のあるパフォーマンスをもたらします。

要約(オリジナル)

The goal of image registration is to establish spatial correspondence between two or more images, traditionally through dense displacement fields (DDFs) or parametric transformations (e.g., rigid, affine, and splines). Rethinking the existing paradigms of achieving alignment via spatial transformations, we uncover an alternative but more intuitive correspondence representation: a set of corresponding regions-of-interest (ROI) pairs, which we demonstrate to have sufficient representational capability as other correspondence representation methods.Further, it is neither necessary nor sufficient for these ROIs to hold specific anatomical or semantic significance. In turn, we formulate image registration as searching for the same set of corresponding ROIs from both moving and fixed images – in other words, two multi-class segmentation tasks on a pair of images. For a general-purpose and practical implementation, we integrate the segment anything model (SAM) into our proposed algorithms, resulting in a SAM-enabled registration (SAMReg) that does not require any training data, gradient-based fine-tuning or engineered prompts. We experimentally show that the proposed SAMReg is capable of segmenting and matching multiple ROI pairs, which establish sufficiently accurate correspondences, in three clinical applications of registering prostate MR, cardiac MR and abdominal CT images. Based on metrics including Dice and target registration errors on anatomical structures, the proposed registration outperforms both intensity-based iterative algorithms and DDF-predicting learning-based networks, even yielding competitive performance with weakly-supervised registration which requires fully-segmented training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google