TopP&R: Robust Support Estimation Approach for Evaluating Fidelity and Diversity in Generative Models

要約

厳密なサポート推定のためのトポロジー的および統計的処理を導入することにより、生成モデルのための堅牢で信頼性の高い評価指標を提案します。
インセプション スコア (IS)、フレシェ インセプション ディスタンス (FID)、および精度と再現率 (P&R) のバリアントなどの既存の指標は、サンプルの特徴から推定されるサポートに大きく依存しています。
しかし、評価の質は完全にその推定値に依存しているにもかかわらず、その推定値の信頼性については真剣に議論されていない（そして無視されている）。
この論文では、トポロジカル精度と再現率 (TopP&R、「トッパー」と発音) を提案します。これは、サポートを推定する体系的なアプローチを提供し、トポロジー的および統計的に重要な特徴のみを一定レベルの信頼度で保持します。
これにより、TopP&R はノイズの多い特徴に対して強力になるだけでなく、統計的な一貫性も提供されます。
私たちの理論的および実験的結果は、TopP&R が外れ値および非独立同一分布 (Non-IID) 摂動に対して堅牢であると同時に、サンプルの変化の真の傾向を正確に捕捉していることを示しています。
私たちの知る限り、これはサポートのロバストな推定に焦点を当てた最初の評価指標であり、ノイズ下での統計的一貫性を提供します。

要約(オリジナル)

We propose a robust and reliable evaluation metric for generative models by introducing topological and statistical treatments for rigorous support estimation. Existing metrics, such as Inception Score (IS), Frechet Inception Distance (FID), and the variants of Precision and Recall (P&R), heavily rely on supports that are estimated from sample features. However, the reliability of their estimation has not been seriously discussed (and overlooked) even though the quality of the evaluation entirely depends on it. In this paper, we propose Topological Precision and Recall (TopP&R, pronounced ‘topper’), which provides a systematic approach to estimating supports, retaining only topologically and statistically important features with a certain level of confidence. This not only makes TopP&R strong for noisy features, but also provides statistical consistency. Our theoretical and experimental results show that TopP&R is robust to outliers and non-independent and identically distributed (Non-IID) perturbations, while accurately capturing the true trend of change in samples. To the best of our knowledge, this is the first evaluation metric focused on the robust estimation of the support and provides its statistical consistency under noise.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google