Interpretable deformable image registration: A geometric deep learning perspective

要約

変形可能な画像登録は、ほとんどの深い学習タスクとは異なり、複数の座標系の複雑な関係を考慮する必要がある挑戦的な問題を提起します。
データ駆動型の方法は、複雑な非線形変換をモデル化する有望な機能を示していますが、既存の作業は、それらが一般的なブラックボックスソルバーであると仮定して、標準的な深い学習アーキテクチャを採用しています。
ソースドメインとターゲットドメインの機能間でパターンマッチングを実行する操作をどのように実行するかを理解することが、堅牢でデータ効率の良い、解釈可能なアーキテクチャを構築するための鍵であると主張します。
解釈可能な登録フレームワークを設計するための理論的基礎を提示します：分離された特徴抽出と変形モデリング、動的受容フィールド、およびデータ駆動型変形は、両方の空間ドメイン間の関係の認識を機能させます。
この基盤に基づいて、粗から繊細な方法で変換を改良するエンドツーエンドのプロセスを策定します。
私たちのアーキテクチャは、幾何学的な深い学習原則を使用する空間的に連続的な変形モデリング機能を採用しているため、変換の連続した改良の間の通常のグリッドへの再サンプリングの問題のあるアプローチを回避します。
私たちは、私たちのアーキテクチャの興味深い解釈可能性特性を強調するために、定性的調査を実施します。
締めくくられて、モノとモーダル間の脳登録の両方の最先端のアプローチと、縦方向の網膜内登録の挑戦的なタスクについて、最先端のアプローチに対するパフォーマンスメトリックの大幅な改善を示します。
コードを公開しています

要約(オリジナル)

Deformable image registration poses a challenging problem where, unlike most deep learning tasks, a complex relationship between multiple coordinate systems has to be considered. Although data-driven methods have shown promising capabilities to model complex non-linear transformations, existing works employ standard deep learning architectures assuming they are general black-box solvers. We argue that understanding how learned operations perform pattern-matching between the features in the source and target domains is the key to building robust, data-efficient, and interpretable architectures. We present a theoretical foundation for designing an interpretable registration framework: separated feature extraction and deformation modeling, dynamic receptive fields, and a data-driven deformation functions awareness of the relationship between both spatial domains. Based on this foundation, we formulate an end-to-end process that refines transformations in a coarse-to-fine fashion. Our architecture employs spatially continuous deformation modeling functions that use geometric deep-learning principles, therefore avoiding the problematic approach of resampling to a regular grid between successive refinements of the transformation. We perform a qualitative investigation to highlight interesting interpretability properties of our architecture. We conclude by showing significant improvement in performance metrics over state-of-the-art approaches for both mono- and multi-modal inter-subject brain registration, as well as the challenging task of longitudinal retinal intra-subject registration. We make our code publicly available

arxiv情報

提供元, 利用サービス

arxiv.jp, Google