Perceptual Quality Assessment of Virtual Reality Videos in the Wild

要約

空間と時間に局所化された複雑な歪みがあるため、VR関連アプリケーショ ンでは、バーチャルリアリティ映像（日常的な利用者が撮影した映像）を 人々がどのように知覚しているかを調査することは、極めて重要で困難な課題 である。既存のパノラマビデオデータベースは、合成歪みのみを考慮し、固定された視聴条件を仮定し、サイズに制限があります。これらの欠点を克服するために、我々は、この種のものとしては初めて、多様なコンテンツと歪み特性を持つ$502$のユーザ生成ビデオを含むVR Video Quality in the Wild (VRVQW)データベースを構築する。VRVQWに基づき、2つの異なる視聴条件下で$139$の参加者のスキャンパスと知覚品質スコアを記録する正式な心理物理学的実験を行う。記録されたデータの徹底的な統計分析を行い、人間のスキャンパスと知覚品質の両方に視聴条件が大きく影響することを観察する。さらに、擬似円筒表現と畳み込みに基づくVR映像の客観的品質評価モデルを開発する。提案するVRVQWの結果は、我々の方法が既存の映像品質評価モデルよりも優れていることを示しており、それ以外の方法では、投影のために人間のスキャンパスに依存するビューポートベースのモデルを下回るだけである。最後に、更なる研究の必要性を強調するために、顕著性検出技術のベンチマークにVRVQWデータセットを追加利用することを検討する。このデータベースとコードは⦿URL{https://github.com/limuhit/VR-Video-Quality-in-the-Wild}で公開しています。

要約(オリジナル)

Investigating how people perceive virtual reality videos in the wild (\ie, those captured by everyday users) is a crucial and challenging task in VR-related applications due to complex \textit{authentic} distortions localized in space and time. Existing panoramic video databases only consider synthetic distortions, assume fixed viewing conditions, and are limited in size. To overcome these shortcomings, we construct the VR Video Quality in the Wild (VRVQW) database, which is one of the first of its kind, and contains $502$ user-generated videos with diverse content and distortion characteristics. Based on VRVQW, we conduct a formal psychophysical experiment to record the scanpaths and perceived quality scores from $139$ participants under two different viewing conditions. We provide a thorough statistical analysis of the recorded data, observing significant impact of viewing conditions on both human scanpaths and perceived quality. Moreover, we develop an objective quality assessment model for VR videos based on pseudocylindrical representation and convolution. Results on the proposed VRVQW show that our method is superior to existing video quality assessment models, only underperforming viewport-based models that otherwise rely on human scanpaths for projection. Last, we explore the additional use of the VRVQW dataset to benchmark saliency detection techniques, highlighting the need for further research. We have made the database and code available at \url{https://github.com/limuhit/VR-Video-Quality-in-the-Wild}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL