MAD: Modality Agnostic Distance Measure for Image Registration

要約

マルチモーダル画像レジストレーションは、多くの医療アプリケーションにおいて重要な前処理ステップです。
ただし、異なる画像モダリティ間の強度関係が複雑なため、画像の見え方に大きな不一致が生じる可能性があるため、これは困難な作業です。
マルチモーダル画像レジストレーションが成功するかどうかは、従来型であっても学習ベースであっても、適切な距離 (または類似性) 尺度の選択に依存します。
特に、深層学習の登録アルゴリズムは、「目に見えない」モダリティからデータを登録しようとすると精度が不足したり、完全に失敗したりすることがあります。
この研究では、大きな外観の変化に対して堅牢でありながら、ランダムな畳み込みを利用して画像の固有の幾何学形状を学習する、深い画像距離であるモダリティに依存しない距離 (MAD) を紹介します。
ランダム畳み込みは、無限の数の合成モダリティをシミュレートするために使用されるジオメトリ保持モジュールであり、トレーニング中に位置合わせされたペア データの必要性を軽減します。
したがって、モノモーダル データセットで MAD をトレーニングし、マルチモーダル データセットに正常に適用できます。
私たちは、MAD がマルチモーダル画像をうまくアフィン登録できるだけでなく、相互情報量や正規化勾配フィールドなどの従来の手段よりも広いキャプチャ範囲を備えていることを実証します。

要約(オリジナル)

Multi-modal image registration is a crucial pre-processing step in many medical applications. However, it is a challenging task due to the complex intensity relationships between different imaging modalities, which can result in large discrepancy in image appearance. The success of multi-modal image registration, whether it is conventional or learning based, is predicated upon the choice of an appropriate distance (or similarity) measure. Particularly, deep learning registration algorithms lack in accuracy or even fail completely when attempting to register data from an ‘unseen’ modality. In this work, we present Modality Agnostic Distance (MAD), a deep image distance}] measure that utilises random convolutions to learn the inherent geometry of the images while being robust to large appearance changes. Random convolutions are geometry-preserving modules which we use to simulate an infinite number of synthetic modalities alleviating the need for aligned paired data during training. We can therefore train MAD on a mono-modal dataset and successfully apply it to a multi-modal dataset. We demonstrate that not only can MAD affinely register multi-modal images successfully, but it has also a larger capture range than traditional measures such as Mutual Information and Normalised Gradient Fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google