Unsupervised Joint Image Transfer and Uncertainty Quantification Using Patch Invariant Networks

要約

教師なし画像転送は、大量のペア学習データが潤沢でないアプリケーションにおいて、モダリティ内およびモダリティ間の画像変換を可能にする。入力領域からターゲット領域への構造保存的なマッピングを保証するために、既存の非対称画像転送の方法は一般的にサイクル整合性に基づいており、計算資源の追加と逆マッピングの学習による不安定性を引き起こしている。本論文では、ペア学習データに依存しない一方向領域写像のための新しい手法を提案する。GANアーキテクチャとパッチ不変性に基づく新規な生成器損失を用いることで、適切な移相が実現される。具体的には、ジェネレータの出力を異なるスケールで評価・比較することで、高周波の細部に焦点を当てるとともに、暗黙のうちにデータを補強している。この新しいパッチロスは、パッチ残差の入力依存のスケールマップをモデル化することにより、アレオグラフィックな不確実性を正確に予測する可能性をも提供する。提案手法を3つの確立された医療データベースで包括的に評価する。これらのデータセットでは、4つの最新手法と比較して、有意に高い精度が確認され、不確実性を考慮した非対称画像転送に対する提案手法の大きな可能性を示している。提案手法の実装はこちらで公開しています。\￭https://github.com/anger-man/unsupervised-image-transfer-and-uq

要約(オリジナル)

Unsupervised image transfer enables intra- and inter-modality image translation in applications where a large amount of paired training data is not abundant. To ensure a structure-preserving mapping from the input to the target domain, existing methods for unpaired image transfer are commonly based on cycle-consistency, causing additional computational resources and instability due to the learning of an inverse mapping. This paper presents a novel method for uni-directional domain mapping that does not rely on any paired training data. A proper transfer is achieved by using a GAN architecture and a novel generator loss based on patch invariance. To be more specific, the generator outputs are evaluated and compared at different scales, also leading to an increased focus on high-frequency details as well as an implicit data augmentation. This novel patch loss also offers the possibility to accurately predict aleatoric uncertainty by modeling an input-dependent scale map for the patch residuals. The proposed method is comprehensively evaluated on three well-established medical databases. As compared to four state-of-the-art methods, we observe significantly higher accuracy on these datasets, indicating great potential of the proposed method for unpaired image transfer with uncertainty taken into account. Implementation of the proposed framework is released here: \url{https://github.com/anger-man/unsupervised-image-transfer-and-uq}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL