D’ARTAGNAN: Counterfactual Video Generation

要約

因果的に有効化された機械学習フレームワークは、臨床医が反事実的な質問に答えることによって治療の最良のコースを特定するのに役立つ可能性があります。
これらの検査から得られた最も重要な臨床測定基準である左心室駆出率の変動を調べることにより、心エコー検査の場合のこの経路を調査します。
ディープニューラルネットワーク、ツイン因果ネットワーク、および生成的敵対的生成手法を初めて組み合わせて、新しい因果生成モデルであるD’ARTAGNAN（Deep ARtificial Twin-Architecture GeNerAtive Networks）を構築します。
心臓超音波ビデオに適用する前に、合成データセットでのアプローチの健全性を、「患者の駆出率が異なる場合、この心エコー図はどのように見えるか」という質問に答えることによって示します。
そのために、新しい超音波ビデオを生成し、元の患者のビデオスタイルと解剖学的構造を保持し、駆出率のバリエーションを特定の入力に条件付けます。
反事実ビデオでは、SSIMスコア0.79とR2スコア0.51を達成しています。
コードとモデルはhttps://github.com/HReynaud/dartagnanで入手できます。

要約(オリジナル)

Causally-enabled machine learning frameworks could help clinicians to identify the best course of treatments by answering counterfactual questions. We explore this path for the case of echocardiograms by looking into the variation of the Left Ventricle Ejection Fraction, the most essential clinical metric gained from these examinations. We combine deep neural networks, twin causal networks and generative adversarial methods for the first time to build D’ARTAGNAN (Deep ARtificial Twin-Architecture GeNerAtive Networks), a novel causal generative model. We demonstrate the soundness of our approach on a synthetic dataset before applying it to cardiac ultrasound videos by answering the question: ‘What would this echocardiogram look like if the patient had a different ejection fraction?’. To do so, we generate new ultrasound videos, retaining the video style and anatomy of the original patient, with variations of the Ejection Fraction conditioned on a given input. We achieve an SSIM score of 0.79 and an R2 score of 0.51 on the counterfactual videos. Code and models are available at https://github.com/HReynaud/dartagnan.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google