FloLPIPS: A Bespoke Video Quality Metric for Frame Interpoation

要約

ビデオ フレーム補間 (VFI) は、多くのビデオ処理アプリケーションにとって便利なツールとして機能します。
最近では、従来のビデオ コーデックと学習ベースの圧縮アーキテクチャの両方を強化するために、ビデオ圧縮ドメインにも適用されています。
近年、強化されたフレーム補間アルゴリズムの開発にますます注目が集まっていますが、補間されたコンテンツの知覚品質評価は依然として未解決の研究分野です。
このペーパーでは、抽出された画像特徴空間の知覚劣化を捉える、一般的な知覚画質メトリクス LPIPS に基づいて構築された、VFI 用の特注の完全参照ビデオ品質メトリクス FloLPIPS を紹介します。
補間されたコンテンツを評価するための LPIPS のパフォーマンスを向上させるために、時間的歪み (オプティカル フローの比較による) を使用して特徴差分マップを重み付けすることにより、その空間特徴集約ステップを再設計しました。
さまざまなフレーム補間アーティファクトを含む 180 のテスト シーケンスを含む BVI-VFI データベースで評価された FloLPIPS は、12 の一般的な品質評価者を超える主観的なグラウンド トゥルースとの優れた相関パフォーマンス (統計的有意性) を示しています。
VFI 品質評価のさらなる研究を促進するために、私たちのコードは https://danier97.github.io/FloLPIPS で公開されています。

要約(オリジナル)

Video frame interpolation (VFI) serves as a useful tool for many video processing applications. Recently, it has also been applied in the video compression domain for enhancing both conventional video codecs and learning-based compression architectures. While there has been an increased focus on the development of enhanced frame interpolation algorithms in recent years, the perceptual quality assessment of interpolated content remains an open field of research. In this paper, we present a bespoke full reference video quality metric for VFI, FloLPIPS, that builds on the popular perceptual image quality metric, LPIPS, which captures the perceptual degradation in extracted image feature space. In order to enhance the performance of LPIPS for evaluating interpolated content, we re-designed its spatial feature aggregation step by using the temporal distortion (through comparing optical flows) to weight the feature difference maps. Evaluated on the BVI-VFI database, which contains 180 test sequences with various frame interpolation artefacts, FloLPIPS shows superior correlation performance (with statistical significance) with subjective ground truth over 12 popular quality assessors. To facilitate further research in VFI quality assessment, our code is publicly available at https://danier97.github.io/FloLPIPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google