Unified Brain MR-Ultrasound Synthesis using Multi-Modal Hierarchical Representations

要約

さまざまなモダリティから欠落している画像を合成する深い階層変分自動エンコーダー (VAE) である MHVAE を紹介します。
マルチモーダル VAE を階層的潜在構造で拡張し、不完全な画像セットを入力として処理できる柔軟性を持ちながら、マルチモーダル画像を共通の潜在表現に融合するための確率的定式化を導入します。
さらに、敵対的学習を採用して、より鮮明な画像を生成します。
関節術中超音波 (iUS) と磁気共鳴 (MR) 合成という困難な問題について、広範な実験が行われています。
私たちのモデルは、欠落画像を合成するためのマルチモーダル VAE、条件付き GAN、および現在の最先端の統合手法 (ResViT) よりも優れたパフォーマンスを示し、階層的潜在表現と原則に基づいた確率的融合操作を使用する利点を実証しました。
私たちのコードは \url{https://github.com/ReubenDo/MHVAE} で公開されています。

要約(オリジナル)

We introduce MHVAE, a deep hierarchical variational auto-encoder (VAE) that synthesizes missing images from various modalities. Extending multi-modal VAEs with a hierarchical latent structure, we introduce a probabilistic formulation for fusing multi-modal images in a common latent representation while having the flexibility to handle incomplete image sets as input. Moreover, adversarial learning is employed to generate sharper images. Extensive experiments are performed on the challenging problem of joint intra-operative ultrasound (iUS) and Magnetic Resonance (MR) synthesis. Our model outperformed multi-modal VAEs, conditional GANs, and the current state-of-the-art unified method (ResViT) for synthesizing missing images, demonstrating the advantage of using a hierarchical latent representation and a principled probabilistic fusion operation. Our code is publicly available \url{https://github.com/ReubenDo/MHVAE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google