A Pragmatic Note on Evaluating Generative Models with Fréchet Inception Distance for Retinal Image Synthesis

要約

イメージネットの前提条件-V3ネットワークで計算されたfre \ ‘echetインセプション距離（fid）は、生成モデルの最先端の評価メトリックとして広く使用されています。
Inception-V3の特徴ベクトルは、多変量ガウス分布に従い、その手段と共分散に基づいて2ワセルスタイン距離を計算すると想定しています。
FIDは、多くの画像合成タスクで実際のデータと密接に合成データと一致する程度を効果的に測定しますが、生物医学生成モデルの主な目標は、多くの場合、対応する注釈でトレーニングデータセットを濃縮することです。
この目的のために、生成モデルを評価するためのゴールドスタンダードは、合成データを分類やセグメンテーションなどのダウンストリームタスクトレーニングに組み込み、そのパフォーマンスを実用的に評価することです。
この論文では、FIDとその関連指標が分類およびセグメンテーションにおけるタスク固有の評価目標と不一致である色の眼底写真や光学コヒーレンス断層撮影など、網膜イメージングモダリティからのケースを調べます。
これらのアプリケーションの評価基準として、FIDとそのバリアントで表されるさまざまなメトリックを使用することの制限を強調し、より広範な生物医学イメージングモダリティとダウンストリームタスクでの潜在的な警告に対処します。

要約(オリジナル)

Fr\’echet Inception Distance (FID), computed with an ImageNet pretrained Inception-v3 network, is widely used as a state-of-the-art evaluation metric for generative models. It assumes that feature vectors from Inception-v3 follow a multivariate Gaussian distribution and calculates the 2-Wasserstein distance based on their means and covariances. While FID effectively measures how closely synthetic data match real data in many image synthesis tasks, the primary goal in biomedical generative models is often to enrich training datasets ideally with corresponding annotations. For this purpose, the gold standard for evaluating generative models is to incorporate synthetic data into downstream task training, such as classification and segmentation, to pragmatically assess its performance. In this paper, we examine cases from retinal imaging modalities, including color fundus photography and optical coherence tomography, where FID and its related metrics misalign with task-specific evaluation goals in classification and segmentation. We highlight the limitations of using various metrics, represented by FID and its variants, as evaluation criteria for these applications and address their potential caveats in broader biomedical imaging modalities and downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google