Is Image-to-Image Translation the Panacea for Multimodal Image Registration? A Comparative Study

要約

ディープラーニング革命によって推進された生物医学画像処理の分野における現在の進歩にもかかわらず、マルチモーダル画像登録は、そのいくつかの課題のために、依然として専門家によって手動で実行されることがよくあります。
コンピューター ビジョン アプリケーションでの画像から画像への (I2I) 変換の最近の成功と、生物医学分野でのその使用の増加により、マルチモーダル レジストレーション問題を潜在的に簡単なモノモーダル問題に変換する魅力的な可能性が提供されます。
マルチモーダルな生物医学および医療の 2D および 3D 画像の厳密な位置合わせのタスクに対する最新の I2I 変換方法の適用可能性に関する実証的研究を行います。
4 つの Generative Adversarial Network (GAN) ベースの I2I 変換方法と 1 つの対照的表現学習方法のパフォーマンスを比較し、続いて 2 つの代表的なモノモーダル登録方法と組み合わせて、マルチモーダル画像登録に対するモダリティ変換の有効性を判断します。
公開されている 4 つのマルチモーダル (2D および 3D) データセットでこれらの方法の組み合わせを評価し、マルチモーダル画像データに直接作用するいくつかのよく知られたアプローチによって達成される登録のパフォーマンスと比較します。
私たちの結果は、登録するモダリティが明確に相関している場合は I2I 変換が役立つ可能性がありますが、サンプルの明確に異なる特性を表現するモダリティの登録は、I2I 変換アプローチではうまく処理されないことを示唆しています。
モダリティ間で共有される情報の抽象的な画像のような表現を見つけることを目的とする評価された表現学習方法は、元のマルチモーダル画像に直接作用する相互情報量最大化アプローチをより適切に管理します。
完全な実験セットアップをオープンソース (https://github.com/MIDA-group/MultiRegEval) として共有しています。

要約(オリジナル)

Despite current advancement in the field of biomedical image processing, propelled by the deep learning revolution, multimodal image registration, due to its several challenges, is still often performed manually by specialists. The recent success of image-to-image (I2I) translation in computer vision applications and its growing use in biomedical areas provide a tempting possibility of transforming the multimodal registration problem into a, potentially easier, monomodal one. We conduct an empirical study of the applicability of modern I2I translation methods for the task of rigid registration of multimodal biomedical and medical 2D and 3D images. We compare the performance of four Generative Adversarial Network (GAN)-based I2I translation methods and one contrastive representation learning method, subsequently combined with two representative monomodal registration methods, to judge the effectiveness of modality translation for multimodal image registration. We evaluate these method combinations on four publicly available multimodal (2D and 3D) datasets and compare them with the performance of registration achieved by several well-known approaches acting directly on multimodal image data. Our results suggest that, although I2I translation may be helpful when the modalities to register are clearly correlated, registration of modalities which express distinctly different properties of the sample is not well handled by the I2I translation approach. The evaluated representation learning method, which aims to find abstract image-like representations of the information shared between the modalities, manages better, and so does the Mutual Information maximisation approach, acting directly on the original multimodal images. We share our complete experimental setup as open-source (https://github.com/MIDA-group/MultiRegEval).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google