Perceptual Quality Assessment for Digital Human Heads

要約

デジタル ヒューマンは、過去 10 年間でますます多くの研究の関心を集めており、その生成、表現、レンダリング、およびアニメーションには多大な労力が費やされてきました。
しかし、デジタルヒューマンの品質評価は遅れをとっています。
したがって、デジタル人間の品質評価の問題の課題に取り組むために、3 次元 (3D) スキャンされたデジタル人間の頭 (DHH) のための最初の大規模な品質評価データベースを提案します。
構築されたデータベースは、55 の参照 DHH と 1,540 の歪んだ DHH と、主観的な知覚評価で構成されています。
次に、DHH の視覚的品質を評価するために、シンプルでありながら効果的な完全参照 (FR) 投影ベースの方法が提案されます。
事前トレーニング済みの Swin Transformer tiny が階層的特徴抽出に使用され、マルチヘッド Attention モジュールが特徴融合に使用されます。
実験結果は、提案された方法が主流のFRメトリックの中で最先端のパフォーマンスを示し、DHHに効果的なFR-IQAインデックスを提供できることを明らかにしています。

要約(オリジナル)

Digital humans are attracting more and more research interest during the last decade, the generation, representation, rendering, and animation of which have been put into large amounts of effort. However, the quality assessment of digital humans has fallen behind. Therefore, to tackle the challenge of digital human quality assessment issues, we propose the first large-scale quality assessment database for three-dimensional (3D) scanned digital human heads (DHHs). The constructed database consists of 55 reference DHHs and 1,540 distorted DHHs along with the subjective perceptual ratings. Then, a simple yet effective full-reference (FR) projection-based method is proposed to evaluate the visual quality of DHHs. The pretrained Swin Transformer tiny is employed for hierarchical feature extraction and the multi-head attention module is utilized for feature fusion. The experimental results reveal that the proposed method exhibits state-of-the-art performance among the mainstream FR metrics, which can provide an effective FR-IQA index for DHHs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google