A Subjective Quality Study for Video Frame Interpolation

要約

ビデオ フレーム補間 (VFI) はビデオ処理の基礎研究分野の 1 つであり、新しく強化された補間アルゴリズムについて広範な研究が行われています。
同じことは、補間されたコンテンツの品質評価には当てはまりません。
この論文では、新しく開発されたビデオ データベース BVI-VFI に基づく VFI の主観的な品質調査について説明します。
BVI-VFI には、3 つの異なるフレーム レートでの 36 のリファレンス シーケンスと、5 つの従来の学習ベースの VFI アルゴリズムを使用して生成された 180 の歪んだビデオが含まれています。
主観的意見スコアは 60 人の人間の参加者から収集され、VFI 手法の評価に一般的に使用される PSNR、SSIM、LPIPS を含む 8 つの一般的な品質指標を評価するために使用されています。
結果は、これらの指標のいずれも、補間されたコンテンツの知覚品質と許容できる相関関係を提供しないことを示しており、最もパフォーマンスの高い指標である LPIPS は、SROCC 値が 0.6 未満であることを示しています。
私たちの調査結果は、VFI 用の特注の知覚品質指標を開発することが緊急に必要であることを示しています。
BVI-VFI データセットは公開されており、https://danier97.github.io/BVI-VFI/ からアクセスできます。

要約(オリジナル)

Video frame interpolation (VFI) is one of the fundamental research areas in video processing and there has been extensive research on novel and enhanced interpolation algorithms. The same is not true for quality assessment of the interpolated content. In this paper, we describe a subjective quality study for VFI based on a newly developed video database, BVI-VFI. BVI-VFI contains 36 reference sequences at three different frame rates and 180 distorted videos generated using five conventional and learning based VFI algorithms. Subjective opinion scores have been collected from 60 human participants, and then employed to evaluate eight popular quality metrics, including PSNR, SSIM and LPIPS which are all commonly used for assessing VFI methods. The results indicate that none of these metrics provide acceptable correlation with the perceived quality on interpolated content, with the best-performing metric, LPIPS, offering a SROCC value below 0.6. Our findings show that there is an urgent need to develop a bespoke perceptual quality metric for VFI. The BVI-VFI dataset is publicly available and can be accessed at https://danier97.github.io/BVI-VFI/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google