LMME3DHF: Benchmarking and Evaluating Multimodal 3D Human Face Generation with LMMs

要約

生成的人工知能の急速な進歩により、メディア制作、バーチャルリアリティ、セキュリティ、ヘルスケア、ゲーム開発などの用途で3D人間の顔（HF）の作成が可能になった。しかし、人間の知覚の主観的な性質と顔の特徴に対する生得的な知覚感度のために、これらのAIが生成した3D人間の顔の品質とリアリズムを評価することは、依然として重要な課題である。このため、我々はAIが生成した3D人間の顔の品質評価に関する包括的な研究を行う。まず、Gen3DHFを紹介する。Gen3DHFは、AIが生成した3D人間の顔の2,000のビデオと、品質と真正性という2つの次元にわたって収集された4,000の平均意見スコア（MOS）、2,000の歪みを考慮した顕著性マップと歪み記述からなる大規模ベンチマークである。Gen3DHFに基づき、我々はLMME3DHFを提案する。LMME3DHFはLarge Multimodal Model (LMM)に基づく3DHF評価指標であり、品質と真正性のスコア予測、歪みを考慮した視覚的質問応答、歪みを考慮した顕著性予測が可能である。実験の結果、LMME3DHFは、AIが生成した3D人間の顔の品質スコアを正確に予測し、歪みを考慮した顕著な領域と歪みのタイプを効果的に識別することで、人間の知覚判断との強い整合性を維持しながら、既存の手法を凌駕する最先端の性能を達成した。Gen3DHFデータベースとLMME3DHFは、発表と同時に公開される予定です。

要約(オリジナル)

The rapid advancement in generative artificial intelligence have enabled the creation of 3D human faces (HFs) for applications including media production, virtual reality, security, healthcare, and game development, etc. However, assessing the quality and realism of these AI-generated 3D human faces remains a significant challenge due to the subjective nature of human perception and innate perceptual sensitivity to facial features. To this end, we conduct a comprehensive study on the quality assessment of AI-generated 3D human faces. We first introduce Gen3DHF, a large-scale benchmark comprising 2,000 videos of AI-Generated 3D Human Faces along with 4,000 Mean Opinion Scores (MOS) collected across two dimensions, i.e., quality and authenticity, 2,000 distortion-aware saliency maps and distortion descriptions. Based on Gen3DHF, we propose LMME3DHF, a Large Multimodal Model (LMM)-based metric for Evaluating 3DHF capable of quality and authenticity score prediction, distortion-aware visual question answering, and distortion-aware saliency prediction. Experimental results show that LMME3DHF achieves state-of-the-art performance, surpassing existing methods in both accurately predicting quality scores for AI-generated 3D human faces and effectively identifying distortion-aware salient regions and distortion types, while maintaining strong alignment with human perceptual judgments. Both the Gen3DHF database and the LMME3DHF will be released upon the publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL