Training-Free Condition Video Diffusion Models for single frame Spatial-Semantic Echocardiogram Synthesis

要約

条件付きビデオ拡散モデル (CDM) は、ビデオ合成に関して有望な結果を示しており、データ不足の問題に対処するための現実的な心エコー図の生成を可能にする可能性があります。
ただし、現在の CDM には、セグメンテーション マップと心エコー図のデータセットのペアが必要です。
追加のトレーニング データを使用せずに、単一の拡張末期セグメンテーション マップから現実的な心エコー図を生成するための Free-Echo と呼ばれる新しい方法を紹介します。
私たちの方法は、時間的注意層モデルを備えた 3D-Unet に基づいており、SDEdit に基づくトレーニング不要の調整方法を使用してセグメンテーション マップで条件付けされます。
私たちは、CAMUS と EchoNet-Dynamic という 2 つの公開心エコー図データセットに基づいてモデルを評価します。
私たちのモデルは、入力セグメンテーション マップと空間的に位置合わせされたもっともらしい心エコー図を生成でき、トレーニング ベースの CDM に匹敵するパフォーマンスを達成できることを示します。
私たちの研究により、単一のセグメンテーション マップから心エコー図を生成する新たな可能性が開かれ、データ拡張、ドメイン適応、および医療画像におけるその他のアプリケーションに使用できます。
コードは \url{https://github.com/gungui98/echo-free} で入手できます。

要約(オリジナル)

Conditional video diffusion models (CDM) have shown promising results for video synthesis, potentially enabling the generation of realistic echocardiograms to address the problem of data scarcity. However, current CDMs require a paired segmentation map and echocardiogram dataset. We present a new method called Free-Echo for generating realistic echocardiograms from a single end-diastolic segmentation map without additional training data. Our method is based on the 3D-Unet with Temporal Attention Layers model and is conditioned on the segmentation map using a training-free conditioning method based on SDEdit. We evaluate our model on two public echocardiogram datasets, CAMUS and EchoNet-Dynamic. We show that our model can generate plausible echocardiograms that are spatially aligned with the input segmentation map, achieving performance comparable to training-based CDMs. Our work opens up new possibilities for generating echocardiograms from a single segmentation map, which can be used for data augmentation, domain adaptation, and other applications in medical imaging. Our code is available at \url{https://github.com/gungui98/echo-free}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google