Generating Realistic Counterfactuals for Retinal Fundus and OCT Images using Diffusion Models

要約

反実仮想推論は、臨床の場において、意思決定を説明したり、選択肢を検討したりするためによく使用される。したがって、眼科のような画像に基づく専門分野では、「被験者が糖尿病性網膜症であった場合、眼底画像はどのように見えたか」のような質問に対する答えを示す反事実画像を作成できることは有益である。ここでは、網膜疾患分類タスクで訓練された逆境に強い分類器と拡散モデルを組み合わせることで、網膜眼底画像と光干渉断層計（OCT）のBスキャン画像の非常に現実的な反事実画像を生成できることを実証する。反実仮想のリアリズムの鍵は、これらの分類器が各疾患クラスを示す顕著な特徴を符号化し、現実的な方法で疾患徴候を描写したり疾患関連病変を除去したりするように拡散モデルを操縦できることである。ユーザー調査では、領域の専門家も、我々の方法で生成されたカウンターファクトは、以前の方法で生成されたカウンターファクトよりもかなり現実的であり、実際の画像と見分けがつかないほどであった。

要約(オリジナル)

Counterfactual reasoning is often used in clinical settings to explain decisions or weigh alternatives. Therefore, for imaging based specialties such as ophthalmology, it would be beneficial to be able to create counterfactual images, illustrating answers to questions like ‘If the subject had had diabetic retinopathy, how would the fundus image have looked?’. Here, we demonstrate that using a diffusion model in combination with an adversarially robust classifier trained on retinal disease classification tasks enables the generation of highly realistic counterfactuals of retinal fundus images and optical coherence tomography (OCT) B-scans. The key to the realism of counterfactuals is that these classifiers encode salient features indicative for each disease class and can steer the diffusion model to depict disease signs or remove disease-related lesions in a realistic way. In a user study, domain experts also found the counterfactuals generated using our method significantly more realistic than counterfactuals generated from a previous method, and even indistinguishable from real images.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL