Exploring the Effectiveness of Deep Features from Domain-Specific Foundation Models in Retinal Image Synthesis

要約

医療イメージングにおけるニューラルネットワークモデルの採用は、厳格なプライバシー規制、限られたデータの可用性、高い獲得コスト、および人口統計学的バイアスによって制約されています。
ディープ生成モデルは、プライバシーの懸念をバイパスし、過小評価されているグループ向けのサンプルを生成することにより公平性に対処する合成データを生成することにより、有望なソリューションを提供します。
ただし、自然な画像とは異なり、医療画像には忠実度（例：fre \ ‘echetインセプションスコア）だけでなく、形態学的および臨床的精度についても検証が必要です。
これは、容器トポロジー、連続性、厚さなど、網膜血管ネットワークの正確な複製が必要な色の網膜イメージングに特に当てはまります。
この研究では、ドメインデータの大規模なコーパスであるColor Fundus Imagingで訓練された大きな基礎モデルの深い活性化層に基づく距離ベースの損失関数が、知覚的損失とエッジ検出ベースの損失関数よりも利点を提供するかどうかを調査しました。
ドメインフリーとドメイン固有のタスクの両方に基づいた当社の広範な検証パイプラインは、ドメイン固有の深い特徴がAutoen-Coder画像の生成を改善しないことを示唆しています。
逆に、我々の発見は、合成サンプルの血管構造の鋭さを改善する際の概念的エッジ検出フィルターの有効性を強調しています。

要約(オリジナル)

The adoption of neural network models in medical imaging has been constrained by strict privacy regulations, limited data availability, high acquisition costs, and demographic biases. Deep generative models offer a promising solution by generating synthetic data that bypasses privacy concerns and addresses fairness by producing samples for under-represented groups. However, unlike natural images, medical imaging requires validation not only for fidelity (e.g., Fr\’echet Inception Score) but also for morphological and clinical accuracy. This is particularly true for colour fundus retinal imaging, which requires precise replication of the retinal vascular network, including vessel topology, continuity, and thickness. In this study, we in-vestigated whether a distance-based loss function based on deep activation layers of a large foundational model trained on large corpus of domain data, colour fundus imaging, offers advantages over a perceptual loss and edge-detection based loss functions. Our extensive validation pipeline, based on both domain-free and domain specific tasks, suggests that domain-specific deep features do not improve autoen-coder image generation. Conversely, our findings highlight the effectiveness of con-ventional edge detection filters in improving the sharpness of vascular structures in synthetic samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google