DISA: DIfferentiable Similarity Approximation for Universal Multimodal Registration

要約

マルチモーダル画像登録は、多くの画像ガイド付き手順にとって困難ではありますが、不可欠なステップです。
ほとんどの位置合わせアルゴリズムは、画像モダリティ間の解剖学的構造の外観の不一致に対処するために、複雑で、多くの場合微分不可能な類似性メトリクスの計算に依存しています。
最近の機械学習ベースのアプローチは、特定の解剖学的構造とモダリティの組み合わせに限定されており、新しい設定に一般化されていません。
我々は、高速に変形可能なグローバル登録を可能にする表現力豊かなクロスモーダル記述子を作成するための汎用フレームワークを提案します。
これは、登録データなしでトレーニングできる本質的に微分可能な小規模畳み込みニューラル ネットワーク (CNN) の特徴空間内で既存のメトリクスをドット積で近似することで実現します。
私たちの方法は、ローカルパッチベースのメトリクスよりも数桁高速であり、類似性の尺度を提案されたものに置き換えることによって臨床設定に直接適用できます。
3 つの異なるデータセットでの実験は、私たちのアプローチがトレーニング データをはるかに超えて一般化し、特殊な再トレーニングを必要とせずに、目に見えない解剖学的構造やモダリティのペアであっても広い捕捉範囲を生み出すことを示しています。
私たちはトレーニング コードとデータを公開しています。

要約(オリジナル)

Multimodal image registration is a challenging but essential step for numerous image-guided procedures. Most registration algorithms rely on the computation of complex, frequently non-differentiable similarity metrics to deal with the appearance discrepancy of anatomical structures between imaging modalities. Recent Machine Learning based approaches are limited to specific anatomy-modality combinations and do not generalize to new settings. We propose a generic framework for creating expressive cross-modal descriptors that enable fast deformable global registration. We achieve this by approximating existing metrics with a dot-product in the feature space of a small convolutional neural network (CNN) which is inherently differentiable can be trained without registered data. Our method is several orders of magnitude faster than local patch-based metrics and can be directly applied in clinical settings by replacing the similarity measure with the proposed one. Experiments on three different datasets demonstrate that our approach generalizes well beyond the training data, yielding a broad capture range even on unseen anatomies and modality pairs, without the need for specialized retraining. We make our training code and data publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google