Leapfrog Latent Consistency Model (LLCM) for Medical Images Generation

要約

病院はプライバシー上の懸念からデータの共有を控えているため、アクセス可能な医療画像データの不足は、医療診断用の深層学習モデルを効果的にトレーニングする上で大きな障害となっています。
これに応えて、オープンソース リポジトリから、61 の疾患タイプと 159 クラスの人間と動物にわたる 250,127 枚を超える画像で構成される、MedImgs という名前の多様なデータセットを収集しました。
私たちは、収集された MedImgs データセットに基づいて再トレーニングされた拡散モデルから抽出された Leapfrog 潜在一貫性モデル (LLCM) を提案します。これにより、モデルはリアルタイムの高解像度画像を生成できます。
逆拡散プロセスを確率流常微分方程式 (PF-ODE) として定式化し、Leapfrog アルゴリズムを使用して潜在空間で解きます。
この定式化により、追加の反復を必要とせずに迅速なサンプリングが可能になります。
私たちのモデルは、医療画像の生成において最先端のパフォーマンスを実証します。
さらに、私たちのモデルはカスタム医療画像データセットを使用して微調整でき、膨大な数の画像の生成が容易になります。
私たちの実験結果は、目に見えない犬の心臓 X 線画像に関して既存のモデルの結果を上回る結果をもたらしました。
ソースコードは https://github.com/lskdsjy/LeapfrogLCM で入手できます。

要約(オリジナル)

The scarcity of accessible medical image data poses a significant obstacle in effectively training deep learning models for medical diagnosis, as hospitals refrain from sharing their data due to privacy concerns. In response, we gathered a diverse dataset named MedImgs, which comprises over 250,127 images spanning 61 disease types and 159 classes of both humans and animals from open-source repositories. We propose a Leapfrog Latent Consistency Model (LLCM) that is distilled from a retrained diffusion model based on the collected MedImgs dataset, which enables our model to generate real-time high-resolution images. We formulate the reverse diffusion process as a probability flow ordinary differential equation (PF-ODE) and solve it in latent space using the Leapfrog algorithm. This formulation enables rapid sampling without necessitating additional iterations. Our model demonstrates state-of-the-art performance in generating medical images. Furthermore, our model can be fine-tuned with any custom medical image datasets, facilitating the generation of a vast array of images. Our experimental results outperform those of existing models on unseen dog cardiac X-ray images. Source code is available at https://github.com/lskdsjy/LeapfrogLCM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google