Ultrasound Image Generation using Latent Diffusion Models

要約

画像生成の拡散モデルは、多様で高品質の画像を生成する能力により、関心が高まる対象となっています。
特にまれな状況では、オープンソースの医療画像を自然な画像と比較して取得するのが難しいため、画像生成は医療画像に大きな可能性があります。
生成された画像は、後で分類モデルとセグメンテーションモデルをトレーニングするために使用できます。
このホワイトペーパーでは、さまざまな公開データベース上の大きな拡散モデルの連続した微調整により、現実的な超音波（US）画像をシミュレートすることを提案します。
そのために、BUSI（胸紙画像）の超音波乳房画像データセットで、最先端の潜在拡散モデルである安定した拡散を微調整しました。
臓器と病理を指定する単純なプロンプトを使用して、乳房の高品質の米国の画像を成功裏に生成しました。
さらに、コントロールネットを介してセグメンテーションを使用してモデルを条件付けすることにより、ユーザーコントロールを提供しました。
ソースコードをhttp://code.sonography.ai/をリリースして、科学コミュニティに速い米国の画像生成を許可します。

要約(オリジナル)

Diffusion models for image generation have been a subject of increasing interest due to their ability to generate diverse, high-quality images. Image generation has immense potential in medical imaging because open-source medical images are difficult to obtain compared to natural images, especially for rare conditions. The generated images can be used later to train classification and segmentation models. In this paper, we propose simulating realistic ultrasound (US) images by successive fine-tuning of large diffusion models on different publicly available databases. To do so, we fine-tuned Stable Diffusion, a state-of-the-art latent diffusion model, on BUSI (Breast US Images) an ultrasound breast image dataset. We successfully generated high-quality US images of the breast using simple prompts that specify the organ and pathology, which appeared realistic to three experienced US scientists and a US radiologist. Additionally, we provided user control by conditioning the model with segmentations through ControlNet. We will release the source code at http://code.sonography.ai/ to allow fast US image generation to the scientific community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google