F-Bench: Rethinking Human Preference Evaluation Metrics for Benchmarking Face Generation, Customization, and Restoration

要約

人工知能生成モデルは、コンテンツ作成、特に顔画像の生成、カスタマイズ、復元において優れた能力を発揮します。
しかし、現在の AI 生成顔 (AIGF) は、独特の歪み、非現実的な詳細、予想外のアイデンティティの変化により人間の好みを下回ることが多く、AIGF の包括的な品質評価フレームワークの必要性が強調されています。
このニーズに対処するために、人間の好みを反映したきめ細かい品質注釈を備えた AI 生成の顔画像の大規模で包括的なデータベースである FaceQ を導入します。
FaceQ データベースは、(1) 顔の生成、(2) 顔のカスタマイズ、(3) 顔の復元という 3 つのタスクにわたって 29 のモデルによって生成された 12,255 枚の画像で構成されています。
これには、180 人のアノテーターによる 32,742 の平均オピニオン スコア (MOS) が含まれており、品質、信頼性、アイデンティティ (ID) 忠実度、テキストと画像の対応など、複数の側面にわたって評価されます。
FaceQ データベースを使用して、顔の生成、カスタマイズ、復元モデルを比較および評価するためのベンチマークである F ベンチを確立し、さまざまなプロンプトと評価の側面にわたる長所と短所を強調します。
さらに、既存の画質評価 (IQA)、顔品質評価 (FQA)、AI 生成コンテンツ画質評価 (AIGCIQA)、および嗜好評価指標のパフォーマンスを評価し、これらの標準指標が真正性の評価において比較的効果が低いことを明らかにしました。
ID の忠実性、およびテキストと画像の対応。
FaceQ データベースは、出版と同時に一般公開されます。

要約(オリジナル)

Artificial intelligence generative models exhibit remarkable capabilities in content creation, particularly in face image generation, customization, and restoration. However, current AI-generated faces (AIGFs) often fall short of human preferences due to unique distortions, unrealistic details, and unexpected identity shifts, underscoring the need for a comprehensive quality evaluation framework for AIGFs. To address this need, we introduce FaceQ, a large-scale, comprehensive database of AI-generated Face images with fine-grained Quality annotations reflecting human preferences. The FaceQ database comprises 12,255 images generated by 29 models across three tasks: (1) face generation, (2) face customization, and (3) face restoration. It includes 32,742 mean opinion scores (MOSs) from 180 annotators, assessed across multiple dimensions: quality, authenticity, identity (ID) fidelity, and text-image correspondence. Using the FaceQ database, we establish F-Bench, a benchmark for comparing and evaluating face generation, customization, and restoration models, highlighting strengths and weaknesses across various prompts and evaluation dimensions. Additionally, we assess the performance of existing image quality assessment (IQA), face quality assessment (FQA), AI-generated content image quality assessment (AIGCIQA), and preference evaluation metrics, manifesting that these standard metrics are relatively ineffective in evaluating authenticity, ID fidelity, and text-image correspondence. The FaceQ database will be publicly available upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google