Synth-by-Reg (SbR): Contrastive learning for synthesis-based registration of paired images

要約

非線形のモダリティ間の登録は、アライメントの適切なプロキシである目的関数が不足しているため、しばしば困難です。
ここでは、この問題をより簡単なモダリティ内タスクに変換する登録による合成方法を提案します。
完全に整列されたトレーニング データを必要としない、ドメイン間の弱く監視された画像変換のレジストレーション ロスを導入します。
この損失は、重みが固定された登録 U-Net を利用して、合成 CNN を目的の変換に向けて駆動します。
この損失を、対比学習に基づく構造保存制約で補完します。これにより、オーバーフィッティングによるぼやけやコンテンツのシフトが防止されます。
この方法を、3D 組織再構成の重要なステップである MRI スライスへの組織切片の登録に適用します。
2 つの異なる公開データセットの結果は、相互情報に基づく登録 (ランドマーク エラーの 13% 削減) および CycleGAN などの合成ベースのアルゴリズム (11% 削減) よりも改善されており、ラベル監視による登録 CNN に匹敵します。
コードとデータは、\url{https://github.com/acasamitjana/SynthByReg} で公開されています。

要約(オリジナル)

Nonlinear inter-modality registration is often challenging due to the lack of objective functions that are good proxies for alignment. Here we propose a synthesis-by-registration method to convert this problem into an easier intra-modality task. We introduce a registration loss for weakly supervised image translation between domains that does not require perfectly aligned training data. This loss capitalises on a registration U-Net with frozen weights, to drive a synthesis CNN towards the desired translation. We complement this loss with a structure preserving constraint based on contrastive learning, which prevents blurring and content shifts due to overfitting. We apply this method to the registration of histological sections to MRI slices, a key step in 3D histology reconstruction. Results on two different public datasets show improvements over registration based on mutual information (13% reduction in landmark error) and synthesis-based algorithms such as CycleGAN (11% reduction), and are comparable to a registration CNN with label supervision. Code and data are publicly available at \url{https://github.com/acasamitjana/SynthByReg}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google