A Unifying Information-theoretic Perspective on Evaluating Generative Models

要約

生成モデルの出力を解釈することの難しさを考慮すると、意味のある評価メトリックの決定に焦点を当てた重要な現在の研究があります。
いくつかの最近のアプローチでは、分類ドメインから借りた「精度」と「リコール」を利用して、それぞれ出力の忠実度（リアリズム）と出力の多様性（実際のデータの変動の表現）を個別に定量化します。
メトリック提案の増加に伴い、統一された視点が必要であり、それらの利点と欠点の比較が容易になり、より明確な説明が可能になります。
この目的のために、KNN密度推定からのアプローチを使用して、情報理論レンズの下で、KTH-Nearest-Neighbors（KNN）ベースのメトリックのクラスを統合します。
さらに、精密な交差エントロピー（PCE）、リコール交差点（RCE）、およびエントロピー（RE）をリコールする三次元メトリックを提案します。
エントロピーと交差エントロピーの情報理論的概念から導出されたドメインに依存しないメトリックは、サンプルレベルとモードレベルの両方の分析のために分析できます。
詳細な実験結果は、メトリックコンポーネントのそれぞれの品質に対する感度を示し、他のメトリックの望ましくない行動を明らかにします。

要約(オリジナル)

Considering the difficulty of interpreting generative model output, there is significant current research focused on determining meaningful evaluation metrics. Several recent approaches utilize ‘precision’ and ‘recall,’ borrowed from the classification domain, to individually quantify the output fidelity (realism) and output diversity (representation of the real data variation), respectively. With the increase in metric proposals, there is a need for a unifying perspective, allowing for easier comparison and clearer explanation of their benefits and drawbacks. To this end, we unify a class of kth-nearest-neighbors (kNN)-based metrics under an information-theoretic lens using approaches from kNN density estimation. Additionally, we propose a tri-dimensional metric composed of Precision Cross-Entropy (PCE), Recall Cross-Entropy (RCE), and Recall Entropy (RE), which separately measure fidelity and two distinct aspects of diversity, inter- and intra-class. Our domain-agnostic metric, derived from the information-theoretic concepts of entropy and cross-entropy, can be dissected for both sample- and mode-level analysis. Our detailed experimental results demonstrate the sensitivity of our metric components to their respective qualities and reveal undesirable behaviors of other metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google