BVI-VFI: A Video Quality Database for Video Frame Interpolation

要約

ビデオフレーム補間（VFI）は、映像処理における基本的な研究テーマであり、現在、研究コミュニティ全体で注目が高まっています。より高度なVFIアルゴリズムの開発が盛んに行われている一方で、人間が補間されたコンテンツの品質をどのように認識するのか、また、認識された品質を測定する際に既存の客観的品質評価手法がどの程度機能するのかについては、まだほとんど理解されていないのが現状です。この研究ギャップを埋めるため、我々はBVI-VFIと名付けた新しい映像品質データベースを開発しました。このデータベースには、様々な空間解像度やフレームレートを持つ36の多様なソース映像に、一般的に使用されている5つのVFIアルゴリズムを適用して生成した540の歪みシーケンスが含まれています。これらの映像について、189名の被験者を対象とした大規模な主観調査により、10,800以上の品質評価を収集しました。さらに、収集した主観評点に基づいて、VFIアルゴリズムとフレームレートが補間映像の知覚品質に与える影響を分析しました。さらに、この新しいデータベースを用いて、28の古典的かつ最新の客観的な画像／映像品質評価指標の性能をベンチマークし、VFIのより正確な特注品質評価手法の緊急要件を実証した。この分野のさらなる研究を促進するために、我々はBVI-VFIをhttps://github.com/danielism97/BVI-VFI-database で一般に公開しています。

要約(オリジナル)

Video frame interpolation (VFI) is a fundamental research topic in video processing, which is currently attracting increased attention across the research community. While the development of more advanced VFI algorithms has been extensively researched, there remains little understanding of how humans perceive the quality of interpolated content and how well existing objective quality assessment methods perform when measuring the perceived quality. In order to narrow this research gap, we have developed a new video quality database named BVI-VFI, which contains 540 distorted sequences generated by applying five commonly used VFI algorithms to 36 diverse source videos with various spatial resolutions and frame rates. We collected more than 10,800 quality ratings for these videos through a large scale subjective study involving 189 human subjects. Based on the collected subjective scores, we further analysed the influence of VFI algorithms and frame rates on the perceptual quality of interpolated videos. Moreover, we benchmarked the performance of 28 classic and state-of-the-art objective image/video quality metrics on the new database, and demonstrated the urgent requirement for more accurate bespoke quality assessment methods for VFI. To facilitate further research in this area, we have made BVI-VFI publicly available at https://github.com/danielism97/BVI-VFI-database.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL