Generative artificial intelligence in ophthalmology: multimodal retinal images for the diagnosis of Alzheimer’s disease with convolutional neural networks

要約

背景・目的。
この研究は、マルチモーダル網膜イメージングと畳み込みニューラル ネットワーク (CNN) を使用してアミロイド陽電子放射断層撮影法 (アミロイド PET) の状態を予測し、合成データを使用した事前トレーニングを通じてパフォーマンスを向上させることを目的としています。
方法。
分類には、アミロイドPET陽性被験者59名とアミロイドPET陰性被験者108名の328眼からの眼底自家蛍光、光干渉断層撮影（OCT）、およびOCT血管造影画像を使用した。
ノイズ除去拡散確率モデル (DDPM) は合成画像を生成するようにトレーニングされ、ユニモーダル CNN は合成データで事前トレーニングされ、実データで微調整されるか、実データのみでトレーニングされました。
マルチモーダル分類器は、4 つのユニモーダル CNN の予測と患者のメタデータを組み合わせるために開発されました。
単峰性分類器のクラス活性化マップは、入力に対するネットワークの注意についての洞察を提供しました。
結果。
DDPM は、記憶することなく、多様でリアルな画像を生成しました。
合成データを使用してユニモーダル CNN を事前トレーニングすると、AUPR は最大 0.350 から 0.579 に改善されました。
マルチモーダル CNN にメタデータを統合すると、AUPR が 0.486 から 0.634 に改善され、全体的に最高の分類器となりました。
クラス活性化マップは、AD と相関する関連する網膜領域を強調しました。
結論。
合成データを生成および活用するための私たちの方法には、マルチモーダル網膜イメージングからのアミロイド PET 予測を改善する可能性があります。
DDPM は、リアルでユニークなマルチモーダル合成網膜画像を生成できます。
最もパフォーマンスの高い単峰性および多峰性分類器は合成データで事前トレーニングされていませんでしたが、合成データを使用して事前トレーニングすると、4 つのモダリティのうち 2 つの分類パフォーマンスがわずかに向上しました。

要約(オリジナル)

Background/Aim. This study aims to predict Amyloid Positron Emission Tomography (AmyloidPET) status with multimodal retinal imaging and convolutional neural networks (CNNs) and to improve the performance through pretraining with synthetic data. Methods. Fundus autofluorescence, optical coherence tomography (OCT), and OCT angiography images from 328 eyes of 59 AmyloidPET positive subjects and 108 AmyloidPET negative subjects were used for classification. Denoising Diffusion Probabilistic Models (DDPMs) were trained to generate synthetic images and unimodal CNNs were pretrained on synthetic data and finetuned on real data or trained solely on real data. Multimodal classifiers were developed to combine predictions of the four unimodal CNNs with patient metadata. Class activation maps of the unimodal classifiers provided insight into the network’s attention to inputs. Results. DDPMs generated diverse, realistic images without memorization. Pretraining unimodal CNNs with synthetic data improved AUPR at most from 0.350 to 0.579. Integration of metadata in multimodal CNNs improved AUPR from 0.486 to 0.634, which was the best overall best classifier. Class activation maps highlighted relevant retinal regions which correlated with AD. Conclusion. Our method for generating and leveraging synthetic data has the potential to improve AmyloidPET prediction from multimodal retinal imaging. A DDPM can generate realistic and unique multimodal synthetic retinal images. Our best performing unimodal and multimodal classifiers were not pretrained on synthetic data, however pretraining with synthetic data slightly improved classification performance for two out of the four modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google