Deep Implicit Optimization for Robust and Flexible Image Registration

要約

画像レジストレーションにおける深層学習 (DLIR) 手法は、その速度とトレーニング時に弱いラベルの監視を組み込む機能により、画像レジストレーションで大きな成功を収めています。
ただし、DLIR 手法では、従来の最適化ベースの手法の利点の多くが失われます。
ディープ ネットワークの機能的性質は、予測された変換が登録目的の極小値であること、変換の表現 (変位/速度場/アフィン) が固定されていること、およびネットワークがドメイン シフトに対して堅牢であることを保証しません。
私たちの手法は、最適化を深いネットワークの層として組み込むことで、古典的な手法と学習手法の間のギャップを埋めることを目的としています。
ディープ ネットワークは、ブラック ボックス反復最適化ソルバーを使用して登録されたマルチスケールの密な特徴画像を予測するようにトレーニングされます。
この最適なワープは、画像とラベルの位置合わせエラーを最小限に抑えるために使用されます。
反復最適化ソルバーを通じてエンドツーエンドを暗黙的に微分することにより、学習された特徴は登録とラベルを認識し、ワープ関数は特徴空間内の登録目標の極小値であることが保証されます。
私たちのフレームワークはドメイン内データセットで優れたパフォーマンスを示し、異方性や強度プロファイルの変化などのドメインシフトに依存しません。
初めて、私たちの方法では、テスト時に再トレーニングなしで任意の変換表現 (自由形式から微分同相変換) を切り替えることができます。
エンドツーエンドの特徴学習により、特徴の解釈が容易になり、推論時に追加のラベル忠実度項を使用してすぐに使用できるプロンプト機能も向上します。

要約(オリジナル)

Deep Learning in Image Registration (DLIR) methods have been tremendously successful in image registration due to their speed and ability to incorporate weak label supervision at training time. However, DLIR methods forego many of the benefits of classical optimization-based methods. The functional nature of deep networks do not guarantee that the predicted transformation is a local minima of the registration objective, the representation of the transformation (displacement/velocity field/affine) is fixed, and the networks are not robust to domain shift. Our method aims to bridge this gap between classical and learning methods by incorporating optimization as a layer in a deep network. A deep network is trained to predict multi-scale dense feature images that are registered using a black box iterative optimization solver. This optimal warp is then used to minimize image and label alignment errors. By implicitly differentiating end-to-end through an iterative optimization solver, our learned features are registration and label-aware, and the warp functions are guaranteed to be local minima of the registration objective in the feature space. Our framework shows excellent performance on in-domain datasets, and is agnostic to domain shift such as anisotropy and varying intensity profiles. For the first time, our method allows switching between arbitrary transformation representations (free-form to diffeomorphic) at test time with zero retraining. End-to-end feature learning also facilitates interpretability of features, and out-of-the-box promptability using additional label-fidelity terms at inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google