CARL: A Framework for Equivariant Image Registration

要約

画像レジストレーションでは、一対の画像間の空間的対応を推定します。
これらの推定値は通常、数値最適化またはディープ ネットワークによる回帰によって取得されます。
このような推定器の望ましい特性は、画像ペアの対応推定 (たとえば、真の神託の対応) が入力画像の変形の下でも維持されることです。
形式的には、推定量は画像変換の所望のクラスと等価である必要があります。
この研究では、マルチステップの深い登録ネットワークのコンテキストで、望ましい等分散特性の慎重な分析を示します。
これらの分析に基づいて、1) $[U,U]$ equivariance (入力画像の同じ変形に対するネットワークの等分散) と $[W,U]$ equivariance (入力画像が異なる変形を受ける可能性がある場合) の概念を導入します。
2) 適切なマルチステップ登録設定では、最初のステップに $[W,U]$ 等分散があり、他のすべてのステップに $[U,U]$ があれば、全体の $[W,U]$ 等分散には十分であることを示します。
等分散。
3) 一般的な変位予測ネットワークは、より強力な $[W,U]$ 等分散ではなく、平行移動に対して $[U,U]$ 等分散のみを示すことを示します。
そして4) 変位予測リファインメント層(CARL)と組み合わせた座標注目メカニズムを介して多段階の $[W,U]$ 等分散を達成する方法を示します。
全体として、私たちのアプローチは、いくつかの 3D 医用画像レジストレーション タスクで優れた実用的なレジストレーション パフォーマンスを実現し、腹部レジストレーションという困難な問題に対して既存の教師なしアプローチよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Image registration estimates spatial correspondences between a pair of images. These estimates are typically obtained via numerical optimization or regression by a deep network. A desirable property of such estimators is that a correspondence estimate (e.g., the true oracle correspondence) for an image pair is maintained under deformations of the input images. Formally, the estimator should be equivariant to a desired class of image transformations. In this work, we present careful analyses of the desired equivariance properties in the context of multi-step deep registration networks. Based on these analyses we 1) introduce the notions of $[U,U]$ equivariance (network equivariance to the same deformations of the input images) and $[W,U]$ equivariance (where input images can undergo different deformations); we 2) show that in a suitable multi-step registration setup it is sufficient for overall $[W,U]$ equivariance if the first step has $[W,U]$ equivariance and all others have $[U,U]$ equivariance; we 3) show that common displacement-predicting networks only exhibit $[U,U]$ equivariance to translations instead of the more powerful $[W,U]$ equivariance; and we 4) show how to achieve multi-step $[W,U]$ equivariance via a coordinate-attention mechanism combined with displacement-predicting refinement layers (CARL). Overall, our approach obtains excellent practical registration performance on several 3D medical image registration tasks and outperforms existing unsupervised approaches for the challenging problem of abdomen registration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google