Boosting Dermatoscopic Lesion Segmentation via Diffusion Models with Visual and Textual Prompts

要約

敵対的生成ネットワークなどの画像合成アプローチは、医療画像分析タスクにおけるデータ拡張の一形態として人気があります。
主に、公的にアクセス可能なデータとそれに関連する高品質の注釈の不足を克服することが有益です。
しかし、現在の技術では、疾患パターンの種類、病変の位置、診断の属性など、生成された画像の詳細な内容を制御できないことがよくあります。
この研究では、生成モデル、つまり拡散モデルの最新の進歩を適応させ、皮膚鏡画像を生成するための病変固有の視覚的およびテキストのプロンプトを使用する制御フローを追加しました。
さらに、画質と皮膚病変のセグメンテーション性能の向上の両方において、古典的な生成モデルに対する拡散モデルベースのフレームワークの利点を実証します。
従来技術と比較して、SSIM 画質尺度で 9% の向上と、Dice 係数で 5% 以上の向上を達成できます。

要約(オリジナル)

Image synthesis approaches, e.g., generative adversarial networks, have been popular as a form of data augmentation in medical image analysis tasks. It is primarily beneficial to overcome the shortage of publicly accessible data and associated quality annotations. However, the current techniques often lack control over the detailed contents in generated images, e.g., the type of disease patterns, the location of lesions, and attributes of the diagnosis. In this work, we adapt the latest advance in the generative model, i.e., the diffusion model, with the added control flow using lesion-specific visual and textual prompts for generating dermatoscopic images. We further demonstrate the advantage of our diffusion model-based framework over the classical generation models in both the image quality and boosting the segmentation performance on skin lesions. It can achieve a 9% increase in the SSIM image quality measure and an over 5% increase in Dice coefficients over the prior arts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google