Non-iterative Coarse-to-fine Transformer Networks for Joint Affine and Deformable Image Registration

要約

画像の登録は、医用画像解析の基本的な要件です。
深層学習に基づく深層登録方法は、エンドツーエンドの登録を高速に実行できる機能として広く認識されています。
多くのディープ レジストレーション手法は、カスケード ネットワークで複数のレジストレーション ステップを繰り返す、粗いレジストレーションから細かいレジストレーションまでを実行することで最先端のパフォーマンスを実現しました。
最近、単一ネットワーク内で粗い位置から細かい位置までの位置合わせを実行する非反復的な粗い位置から細かい位置への位置合わせ (NICE) 位置合わせ方法が提案され、位置合わせの精度と実行時間の両方で利点が示されました。
ただし、既存の NICE 登録方法は主に変形可能な登録に重点を置いているのに対し、共通の前提条件であるアフィン登録は依然として時間のかかる従来の最適化ベースの方法または追加のアフィン登録ネットワークに依存しています。
さらに、既存の NICE 登録方法は、畳み込み演算の固有の局所性によって制限されます。
トランスフォーマーは、長距離の依存関係をキャプチャする機能によりこの制限に対処する可能性がありますが、NICE 登録にトランスフォーマーを使用する利点は調査されていません。
この研究では、画像レジストレーションのための非反復 Coarse-to-finE Transformer ネットワーク (NICE-Trans) を提案します。
当社の NICE-Trans は、(i) 結合アフィンおよび変形可能な粗密レジストレーションを単一ネットワーク内で実行し、(ii) 画像間の長距離関連性をモデル化するために NICE レジストレーション フレームワークにトランスフォーマーを埋め込む初のディープ レジストレーション手法です。
7 つの公開データセットを使用した広範な実験により、NICE-Trans は登録精度と実行時間の両方で最先端の登録方法よりも優れていることがわかりました。

要約(オリジナル)

Image registration is a fundamental requirement for medical image analysis. Deep registration methods based on deep learning have been widely recognized for their capabilities to perform fast end-to-end registration. Many deep registration methods achieved state-of-the-art performance by performing coarse-to-fine registration, where multiple registration steps were iterated with cascaded networks. Recently, Non-Iterative Coarse-to-finE (NICE) registration methods have been proposed to perform coarse-to-fine registration in a single network and showed advantages in both registration accuracy and runtime. However, existing NICE registration methods mainly focus on deformable registration, while affine registration, a common prerequisite, is still reliant on time-consuming traditional optimization-based methods or extra affine registration networks. In addition, existing NICE registration methods are limited by the intrinsic locality of convolution operations. Transformers may address this limitation for their capabilities to capture long-range dependency, but the benefits of using transformers for NICE registration have not been explored. In this study, we propose a Non-Iterative Coarse-to-finE Transformer network (NICE-Trans) for image registration. Our NICE-Trans is the first deep registration method that (i) performs joint affine and deformable coarse-to-fine registration within a single network, and (ii) embeds transformers into a NICE registration framework to model long-range relevance between images. Extensive experiments with seven public datasets show that our NICE-Trans outperforms state-of-the-art registration methods on both registration accuracy and runtime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google