High-Quality Medical Image Generation from Free-hand Sketch

要約

人間が描いたフリーハンドのスケッチから医用画像を生成することは、さまざまな重要な医用画像アプリケーションに有望です。
医療分野でフリーハンドのスケッチデータを収集することは非常に困難であるため、ほとんどのディープラーニングベースの方法は、合成されたスケッチ（実際の画像からのセグメンテーションマスクのエッジマップや輪郭など）から医療画像を生成するために提案されています。
ただし、これらのモデルはフリーハンド スケッチを一般化できないことが多く、満足のいく結果が得られません。
この論文では、StyleGAN の潜在空間でスケッチを表現し、そこから医療画像を生成することを学習する、Sketch2MedI と呼ばれる実用的なフリーハンド スケッチから画像生成モデルを提案します。
スケッチをこの意味のある表現空間にエンコードできる機能のおかげで、Sketch2MedI はトレーニングに合成スケッチのみを必要とし、コスト効率の高い学習プロセスを可能にします。
当社の Sketch2MedI は、フリーハンド スケッチに対する堅牢な一般化を実証し、高品質でリアルな医療画像を生成します。
Sketch2MedI と pix2pix、CycleGAN、UNIT、および U-GAT-IT モデルとの比較評価では、さまざまな指標にわたって定量的および定性的に咽頭画像の生成において優れたパフォーマンスを示しています。

要約(オリジナル)

Generating medical images from human-drawn free-hand sketches holds promise for various important medical imaging applications. Due to the extreme difficulty in collecting free-hand sketch data in the medical domain, most deep learning-based methods have been proposed to generate medical images from the synthesized sketches (e.g., edge maps or contours of segmentation masks from real images). However, these models often fail to generalize on the free-hand sketches, leading to unsatisfactory results. In this paper, we propose a practical free-hand sketch-to-image generation model called Sketch2MedI that learns to represent sketches in StyleGAN’s latent space and generate medical images from it. Thanks to the ability to encode sketches into this meaningful representation space, Sketch2MedI only requires synthesized sketches for training, enabling a cost-effective learning process. Our Sketch2MedI demonstrates a robust generalization to free-hand sketches, resulting in high-quality and realistic medical image generations. Comparative evaluations of Sketch2MedI against the pix2pix, CycleGAN, UNIT, and U-GAT-IT models show superior performance in generating pharyngeal images, both quantitative and qualitative across various metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google