An Optimism-based Approach to Online Evaluation of Generative Models

要約

生成モデルを評価および比較するための既存のフレームワークは、通常、評価者がモデルによって生成されたデータの完全なバッチにアクセスできるオフライン設定を対象としています。
ただし、多くの実際的なシナリオでは、生成されたサンプルを最小限に抑えて最適なモデルを特定し、モデルからデータをクエリするコストを最小限に抑えることが目標となります。
このようなオンライン比較は、現在のオフライン評価方法では困難です。
この研究では、利用可能なモデルのグループの中から標準評価スコアを最大化する生成モデルを見つけるためのオンライン評価フレームワークを提案します。
私たちの手法では、楽観主義ベースのマルチアーム バンディット フレームワークを使用して、最も高い評価スコアを持つデータを生成するモデルを特定し、生成されたデータの品質と多様性を定量化します。
具体的には、Fr\’echet Inception Distance (FID) および Inception Score (IS) メトリクスに基づく生成モデルのオンライン評価を研究し、オンライン学習における上限信頼限界アプローチを活用した FID-UCB および IS-UCB アルゴリズムを提案します。
これらのアルゴリズムのサブリニアリグレス限界を証明し、標準画像データセットに関する数値結果を提示して、スコアを最大化する生成モデルを特定する際のそれらの有効性を実証します。

要約(オリジナル)

Existing frameworks for evaluating and comparing generative models typically target an offline setting, where the evaluator has access to full batches of data produced by the models. However, in many practical scenarios, the goal is to identify the best model using the fewest generated samples to minimize the costs of querying data from the models. Such an online comparison is challenging with current offline assessment methods. In this work, we propose an online evaluation framework to find the generative model that maximizes a standard assessment score among a group of available models. Our method uses an optimism-based multi-armed bandit framework to identify the model producing data with the highest evaluation score, quantifying the quality and diversity of generated data. Specifically, we study the online assessment of generative models based on the Fr\’echet Inception Distance (FID) and Inception Score (IS) metrics and propose the FID-UCB and IS-UCB algorithms leveraging the upper confidence bound approach in online learning. We prove sub-linear regret bounds for these algorithms and present numerical results on standard image datasets, demonstrating their effectiveness in identifying the score-maximizing generative model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google