Confusing Image Quality Assessment: Towards Better Augmented Reality Experience

要約

マルチメディア技術の発展により、拡張現実 (AR) は有望な次世代モバイル プラットフォームになりました。
AR の主な価値は、デジタル コンテンツと現実世界の環境の融合を促進することですが、この融合がこれら 2 つのコンポーネントの体験の質 (QoE) にどのように影響するかについての研究は不足しています。
2 つのレイヤーが相互に影響し合う AR の QoE を向上させるには、まずその知覚品質を評価することが重要です。
本稿では、AR 技術を仮想シーンと現実シーンの重ね合わせと考え、その基本理論として視覚的混乱を紹介します。
より一般的な問題が最初に提案されます。これは、重ね合わせた画像の知覚品質を評価することです。つまり、画像品質評価を混乱させます。
ConFusing Image Quality Assessment (CFIQA) データベースが確立されます。これには、600 の参照画像と、参照画像をペアで混合することによって生成された 300 の歪んだ画像が含まれます。
次に、主観的な品質知覚研究と客観的なモデル評価実験を行い、人間が紛らわしい画像をどのように知覚するかをよりよく理解することを目指します。
紛らわしい画質をより適切に評価するために、CFIQA と呼ばれる客観的な測定基準も提案されています。
また、CFIQAスタディをベースに拡張ARIQAスタディを実施しています。
20 の AR 参照画像、20 の背景 (BG) 参照画像、AR および BG 参照から生成された 560 の歪んだ画像、およびそれに応じて収集された主観的な品質評価を含む、実際の AR アプリケーション シナリオをより適切にシミュレートするために、ARIQA データベースを確立します。
また、対応する IQA アルゴリズムを設計する際に視覚的な混乱を考慮する必要があるかどうかを調べるために、3 種類の完全参照 (FR) IQA メトリックを設計します。
AR 画像の知覚品質をより適切に評価するために、ARIQA メトリックが最終的に提案されました。

要約(オリジナル)

With the development of multimedia technology, Augmented Reality (AR) has become a promising next-generation mobile platform. The primary value of AR is to promote the fusion of digital contents and real-world environments, however, studies on how this fusion will influence the Quality of Experience (QoE) of these two components are lacking. To achieve better QoE of AR, whose two layers are influenced by each other, it is important to evaluate its perceptual quality first. In this paper, we consider AR technology as the superimposition of virtual scenes and real scenes, and introduce visual confusion as its basic theory. A more general problem is first proposed, which is evaluating the perceptual quality of superimposed images, i.e., confusing image quality assessment. A ConFusing Image Quality Assessment (CFIQA) database is established, which includes 600 reference images and 300 distorted images generated by mixing reference images in pairs. Then a subjective quality perception study and an objective model evaluation experiment are conducted towards attaining a better understanding of how humans perceive the confusing images. An objective metric termed CFIQA is also proposed to better evaluate the confusing image quality. Moreover, an extended ARIQA study is further conducted based on the CFIQA study. We establish an ARIQA database to better simulate the real AR application scenarios, which contains 20 AR reference images, 20 background (BG) reference images, and 560 distorted images generated from AR and BG references, as well as the correspondingly collected subjective quality ratings. We also design three types of full-reference (FR) IQA metrics to study whether we should consider the visual confusion when designing corresponding IQA algorithms. An ARIQA metric is finally proposed for better evaluating the perceptual quality of AR images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google