A No-Reference Quality Assessment Method for Digital Human Head

要約

近年、デジタル ヒューマンは拡張/仮想現実 (A/VR) に広く適用されており、視聴者はボリューム コンテンツを自由に観察し、操作することができます。
しかしながら、デジタルヒューマンは、その生成や伝送の過程で様々な歪みを生じて劣化する可能性がある。
さらに、デジタルヒューマンの知覚品質評価にはほとんど力が注がれていません。
したがって、デジタル ヒューマン品質評価 (DHQA) の課題に取り組むために、客観的な品質評価方法を実行することが急務となっています。
この論文では、マルチタスク方式で DHQA を処理するために、Transformer に基づいた新しい非参照 (NR) 手法を開発します。
具体的には、デジタル ヒューマンの正面 2D 投影が入力としてレンダリングされ、特徴抽出にビジョン トランスフォーマー (ViT) が使用されます。
次に、歪みの種類を共同で分類し、デジタル ヒューマンの知覚品質レベルを予測するマルチタスク モジュールを設計します。
実験結果は、提案された方法が主観的評価とよく相関し、最先端の品質評価方法よりも優れていることを示しています。

要約(オリジナル)

In recent years, digital humans have been widely applied in augmented/virtual reality (A/VR), where viewers are allowed to freely observe and interact with the volumetric content. However, the digital humans may be degraded with various distortions during the procedure of generation and transmission. Moreover, little effort has been put into the perceptual quality assessment of digital humans. Therefore, it is urgent to carry out objective quality assessment methods to tackle the challenge of digital human quality assessment (DHQA). In this paper, we develop a novel no-reference (NR) method based on Transformer to deal with DHQA in a multi-task manner. Specifically, the front 2D projections of the digital humans are rendered as inputs and the vision transformer (ViT) is employed for the feature extraction. Then we design a multi-task module to jointly classify the distortion types and predict the perceptual quality levels of digital humans. The experimental results show that the proposed method well correlates with the subjective ratings and outperforms the state-of-the-art quality assessment methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google