Explicit Temporal Embedding in Deep Generative Latent Models for Longitudinal Medical Image Synthesis

要約

医用画像は、現代の診断と治療において重要な役割を果たしています。
疾患または治療の進行の一時的な性質により、長期的なデータが得られることがよくあります。
コストと潜在的な損害のために、ディープ ラーニングに必要な大規模な医療データセットを取得することは困難な場合があります。
医用画像合成は、この問題を軽減するのに役立つ可能性があります。
ただし、これまで、縦方向のボリューム データを合成できる GAN の可用性は限られていました。
これに対処するために、潜在空間ベースの画像編集における最近の進歩を使用して、GANの潜在空間に一時的な依存関係を明示的に埋め込む新しい共同学習スキームを提案します。
これは、以前の方法とは対照的に、限られた監督で、連続的で滑らかで高品質の縦方向のボリュームデータを合成することを可能にします。
異なる縦方向の依存関係を含む 3 つのデータセットに対するアプローチの有効性を示します。
つまり、単純な画像変換、呼吸運動、および腫瘍退縮をモデリングしながら、最小限のもつれの解消を示します。
実装は、https://github.com/julschoen/Temp-GAN でオンラインで入手できます。

要約(オリジナル)

Medical imaging plays a vital role in modern diagnostics and treatment. The temporal nature of disease or treatment progression often results in longitudinal data. Due to the cost and potential harm, acquiring large medical datasets necessary for deep learning can be difficult. Medical image synthesis could help mitigate this problem. However, until now, the availability of GANs capable of synthesizing longitudinal volumetric data has been limited. To address this, we use the recent advances in latent space-based image editing to propose a novel joint learning scheme to explicitly embed temporal dependencies in the latent space of GANs. This, in contrast to previous methods, allows us to synthesize continuous, smooth, and high-quality longitudinal volumetric data with limited supervision. We show the effectiveness of our approach on three datasets containing different longitudinal dependencies. Namely, modeling a simple image transformation, breathing motion, and tumor regression, all while showing minimal disentanglement. The implementation is made available online at https://github.com/julschoen/Temp-GAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google