A Vessel-Segmentation-Based CycleGAN for Unpaired Multi-modal Retinal Image Synthesis

要約

網膜画像の対にならない画像間翻訳は、ディープラーニングに基づくマルチモーダル網膜レジストレーション手法のトレーニングデータセットを効率的に増やすことができる。本手法は、CycleGANフレームワークを拡張することで、血管セグメンテーションネットワークを画像間変換タスクに統合する。セグメンテーションネットワークは、UNetビジョン変換器生成ネットワークの前に挿入され、両ドメイン間の共有表現として機能する。我々は、血管のセグメンテーションと実画像の間の直接的なマッピングを学習するために、元の同一性損失を再定義する。さらに、偽画像と実画像の間で血管の位置が共有されるように、セグメンテーション損失項を追加する。実験では、本手法は視覚的にリアルな外観を示し、画像登録のためのマルチモーダルな学習データを生成するための前提条件である血管構造を保持することができた。

要約(オリジナル)

Unpaired image-to-image translation of retinal images can efficiently increase the training dataset for deep-learning-based multi-modal retinal registration methods. Our method integrates a vessel segmentation network into the image-to-image translation task by extending the CycleGAN framework. The segmentation network is inserted prior to a UNet vision transformer generator network and serves as a shared representation between both domains. We reformulate the original identity loss to learn the direct mapping between the vessel segmentation and the real image. Additionally, we add a segmentation loss term to ensure shared vessel locations between fake and real images. In the experiments, our method shows a visually realistic look and preserves the vessel structures, which is a prerequisite for generating multi-modal training data for image registration.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL