RMT-BVQA: Recurrent Memory Transformer-based Blind Video Quality Assessment for Enhanced Video Content

要約

最近の深層学習の進歩により、ビデオ品質を向上させ、視覚的アーティファクトを軽減し、知覚品質を向上させるための多数のアルゴリズムが開発されています。
ただし、強化されたコンテンツの品質評価に関する研究はほとんど報告されていません。強化方法の評価は、多くの場合、圧縮アプリケーション用に設計された品質指標に基づいています。
この論文では、特に強化されたビデオ コンテンツ向けの新しいブラインドディープビデオ品質評価 (VQA) 方法を提案します。
新しい Recurrent Memory Transformer (RMT) ベースのネットワーク アーキテクチャを採用してビデオ品質表現を取得します。これは、強化されたコンテンツを含む 13K のトレーニング パッチを含む新しいデータベースに基づく、新しいコンテンツ品質を意識した対照学習戦略を通じて最適化されます。
抽出された品質表現は線形回帰によって結合され、ビデオレベルの品質インデックスが生成されます。
提案された方法である RMT-BVQA は、5 段階の相互検証を通じて VDPVE (VQA Dataset for Perceptual Video Enhancement) データベース上で評価されています。
この結果は、既存の 10 個の非参照品質指標と比較した場合に、その優れた相関パフォーマンスを示しています。

要約(オリジナル)

With recent advances in deep learning, numerous algorithms have been developed to enhance video quality, reduce visual artefacts and improve perceptual quality. However, little research has been reported on the quality assessment of enhanced content – the evaluation of enhancement methods is often based on quality metrics that were designed for compression applications. In this paper, we propose a novel blind deep video quality assessment (VQA) method specifically for enhanced video content. It employs a new Recurrent Memory Transformer (RMT) based network architecture to obtain video quality representations, which is optimised through a novel content-quality-aware contrastive learning strategy based on a new database containing 13K training patches with enhanced content. The extracted quality representations are then combined through linear regression to generate video-level quality indices. The proposed method, RMT-BVQA, has been evaluated on the VDPVE (VQA Dataset for Perceptual Video Enhancement) database through a five-fold cross validation. The results show its superior correlation performance when compared to ten existing no-reference quality metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google