Feature-Conditioned Cascaded Video Diffusion Models for Precise Echocardiogram Synthesis

要約

画像合成は、機械学習手法を臨床実践に応用する価値を提供すると期待されています。
モデルの堅牢性、ドメイン転送、因果モデリング、オペレーターのトレーニングなどの基本的な問題は、合成データを通じてアプローチ可能になります。
特に、超音波画像処理のようなオペレーターに大きく依存するモダリティでは、画像とビデオを生成するための堅牢なフレームワークが必要です。
これまでのところ、ビデオ生成は、出力データと同じくらい豊富な入力データ (イメージ シーケンスとコンディショニング イン、ビデオ出力など) を提供することによってのみ可能でした。
しかし、通常、臨床文書は不足しており、報告および保存されるのは単一の画像のみであるため、現在のアプローチでは遡及的な患者固有の分析や豊富なトレーニング データの生成は不可能になります。
この論文では、解明された拡散モデルをビデオモデリング用に拡張し、単一画像と臨床パラメータによる任意の条件付けからもっともらしいビデオシーケンスを生成します。
私たちは、これらの検査から得られる最も重要な臨床指標である左心室駆出率の変動を調べることにより、心エコー図の文脈の中でこの考えを探求します。
すべての実験には、公開されている EchoNet-Dynamic データセットを使用します。
私たちの画像からシーケンスへのアプローチは、$R^2$ スコア 93% を達成します。これは、最近提案されたシーケンスからシーケンスへの生成方法よりも 38 ポイント高いです。
コードとモデルは https://github.com/HReynaud/EchoDiffusion で入手できます。

要約(オリジナル)

Image synthesis is expected to provide value for the translation of machine learning methods into clinical practice. Fundamental problems like model robustness, domain transfer, causal modelling, and operator training become approachable through synthetic data. Especially, heavily operator-dependant modalities like Ultrasound imaging require robust frameworks for image and video generation. So far, video generation has only been possible by providing input data that is as rich as the output data, e.g., image sequence plus conditioning in, video out. However, clinical documentation is usually scarce and only single images are reported and stored, thus retrospective patient-specific analysis or the generation of rich training data becomes impossible with current approaches. In this paper, we extend elucidated diffusion models for video modelling to generate plausible video sequences from single images and arbitrary conditioning with clinical parameters. We explore this idea within the context of echocardiograms by looking into the variation of the Left Ventricle Ejection Fraction, the most essential clinical metric gained from these examinations. We use the publicly available EchoNet-Dynamic dataset for all our experiments. Our image to sequence approach achieves an $R^2$ score of 93%, which is 38 points higher than recently proposed sequence to sequence generation methods. Code and models will be available at: https://github.com/HReynaud/EchoDiffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google