Assessor360: Multi-sequence Network for Blind Omnidirectional Image Quality Assessment

要約

ブラインド全方向画像品質評価 (BOIQA) は、元の品質の画像情報に依存せずに、全方向画像 (ODI) の人間の知覚品質を客観的に評価することを目的としています。
仮想現実（VR）技術の進歩に伴い、その重要性はますます高まっています。
ただし、ODI の品質評価は、既存の BOIQA パイプラインにオブザーバーの閲覧プロセスのモデリングが欠けているという事実によって大きく妨げられています。
この問題に取り組むために、我々は、現実的なマルチアセッサー ODI 品質評価手順から派生した、Assessor360 と呼ばれる BOIQA 用の新しいマルチシーケンス ネットワークを提案します。
具体的には、コンテンツと詳細情報を組み合わせて、特定の開始点から複数の疑似ビューポート シーケンスを生成する、BOIQA タスク用の一般化された再帰確率サンプリング (RPS) 方法を提案します。
さらに、各ビューポートの歪んだ特徴とセマンティックな特徴を融合するために、歪み対応ブロック (DAB) を備えたマルチスケール特徴集約 (MFA) モジュールを設計します。
また、時間領域でのビューポートの遷移を学習するための時間モデリング モジュール (TMM) も考案しました。
広範な実験結果により、Assessor360 が複数の OIQA データセットに対して最先端の手法よりも優れたパフォーマンスを発揮することが実証されています。
コードとモデルは https://github.com/TianheWu/Assessor360 で入手できます。

要約(オリジナル)

Blind Omnidirectional Image Quality Assessment (BOIQA) aims to objectively assess the human perceptual quality of omnidirectional images (ODIs) without relying on pristine-quality image information. It is becoming more significant with the increasing advancement of virtual reality (VR) technology. However, the quality assessment of ODIs is severely hampered by the fact that the existing BOIQA pipeline lacks the modeling of the observer’s browsing process. To tackle this issue, we propose a novel multi-sequence network for BOIQA called Assessor360, which is derived from the realistic multi-assessor ODI quality assessment procedure. Specifically, we propose a generalized Recursive Probability Sampling (RPS) method for the BOIQA task, combining content and details information to generate multiple pseudo-viewport sequences from a given starting point. Additionally, we design a Multi-scale Feature Aggregation (MFA) module with a Distortion-aware Block (DAB) to fuse distorted and semantic features of each viewport. We also devise Temporal Modeling Module (TMM) to learn the viewport transition in the temporal domain. Extensive experimental results demonstrate that Assessor360 outperforms state-of-the-art methods on multiple OIQA datasets. The code and models are available at https://github.com/TianheWu/Assessor360.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google