Derm-T2IM: Harnessing Synthetic Skin Lesion Data via Stable Diffusion Models for Enhanced Skin Disease Classification using ViT and CNN

要約

この研究では、機械学習モデルのトレーニングの堅牢性を高めるための戦略として、安定した拡散モデルを通じて生成された皮膚鏡合成データの利用を検討しています。
合成データの生成は、限られたラベル付きデータセットに関連する課題を軽減する上で極めて重要な役割を果たし、それによってより効果的なモデルのトレーニングが促進されます。
これに関連して、私たちは、テキストから画像への潜在拡散モデルにおける少数ショット学習と少量のデータ表現の最近の成功を拡張することにより、強化されたデータ変換技術を組み込むことを目指しています。
最適に調整されたモデルは、多様で現実的な特性を持つ高品質の皮膚病変合成データをレンダリングするためにさらに使用され、既存のトレーニング データに貴重な補足と多様性を提供します。
私たちは、新しく生成された合成データを最先端の機械学習モデルのトレーニング パイプラインに組み込むことの影響を調査し、モデルのパフォーマンスの向上と目に見えない現実世界のデータへの一般化におけるその有効性を評価します。
私たちの実験結果は、安定した拡散モデルを通じて生成された合成データの有効性が、2 つの異なる現実世界の皮膚病変データセットに対するエンドツーエンドの CNN およびビジョン トランスフォーマー モデルの堅牢性と適応性の向上に役立つことを示しています。

要約(オリジナル)

This study explores the utilization of Dermatoscopic synthetic data generated through stable diffusion models as a strategy for enhancing the robustness of machine learning model training. Synthetic data generation plays a pivotal role in mitigating challenges associated with limited labeled datasets, thereby facilitating more effective model training. In this context, we aim to incorporate enhanced data transformation techniques by extending the recent success of few-shot learning and a small amount of data representation in text-to-image latent diffusion models. The optimally tuned model is further used for rendering high-quality skin lesion synthetic data with diverse and realistic characteristics, providing a valuable supplement and diversity to the existing training data. We investigate the impact of incorporating newly generated synthetic data into the training pipeline of state-of-art machine learning models, assessing its effectiveness in enhancing model performance and generalization to unseen real-world data. Our experimental results demonstrate the efficacy of the synthetic data generated through stable diffusion models helps in improving the robustness and adaptability of end-to-end CNN and vision transformer models on two different real-world skin lesion datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google