Modular Blind Video Quality Assessment

要約

ブラインド ビデオ品質評価 (BVQA) は、幅広いビデオベースのプラットフォームおよびサービスにわたるエンド ユーザーの視聴エクスペリエンスを評価および改善する上で極めて重要な役割を果たします。
現代の深層学習ベースのモデルは、主に積極的にサブサンプリングされた形式でビデオ コンテンツを分析しますが、実際の空間解像度とフレーム レートがビデオ品質に与える影響については認識していません。
この論文では、モジュール型 BVQA モデルと、そのモジュール性を向上させるためにモデルをトレーニングする方法を提案します。
私たちのモデルは、基本品質予測器、空間整流器、時間整流器で構成され、それぞれビデオ品質の視覚コンテンツと歪み、空間解像度、フレーム レートの変化に対応します。
トレーニング中に、基本品質予測子をスタンドアロンの BVQA モデルにレンダリングするために、空間的および時間的整流器が一定の確率で削除されます。これにより、整流器との連携が向上します。
専門家が作成したコンテンツとユーザーが作成したコンテンツのビデオ データベースの両方に対する広範な実験により、当社の品質モデルが現在の方法よりも優れた、または同等のパフォーマンスを達成することが示されました。
さらに、モデルのモジュール性により、空間的および時間的な複雑さの観点から既存のビデオ品質データベースを分析する機会が提供されます。

要約(オリジナル)

Blind video quality assessment (BVQA) plays a pivotal role in evaluating and improving the viewing experience of end-users across a wide range of video-based platforms and services. Contemporary deep learning-based models primarily analyze video content in its aggressively subsampled format, while being blind to the impact of the actual spatial resolution and frame rate on video quality. In this paper, we propose a modular BVQA model and a method of training it to improve its modularity. Our model comprises a base quality predictor, a spatial rectifier, and a temporal rectifier, responding to the visual content and distortion, spatial resolution, and frame rate changes on video quality, respectively. During training, spatial and temporal rectifiers are dropped out with some probabilities to render the base quality predictor a standalone BVQA model, which should work better with the rectifiers. Extensive experiments on both professionally-generated content and user-generated content video databases show that our quality model achieves superior or comparable performance to current methods. Additionally, the modularity of our model offers an opportunity to analyze existing video quality databases in terms of their spatial and temporal complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google