要約
ビデオ品質評価 (VQA) は、視聴者のエクスペリエンスに直接影響を与えるため、ビデオ圧縮標準の開発において重要なタスクです。
このペーパーでは、ECCV 2024 の画像操作の進歩 (AIM) ワークショップと併せて開催された圧縮ビデオ品質評価チャレンジの結果を紹介します。このチャレンジは、次のコードでエンコードされた 459 ビデオの多様なデータセットに対する VQA 手法のパフォーマンスを評価することを目的としていました。
さまざまな圧縮規格 (AVC/H.264、HEVC/H.265、AV1、および VVC/H.266) の 14 コーデックと圧縮アーティファクトの包括的なコレクションが含まれています。
メソッドのパフォーマンスを測定するために、大規模なクラウドソーシングによる人間によるペアごとの比較によって収集された、予測と主観的スコアの間の従来の相関係数を使用しました。
トレーニングの目的で、参加者には、以前に開発された 1,022 個のビデオのデータセットである圧縮ビデオ品質評価データセット (CVQAD) が提供されました。
最大 30 の参加チームがこのチャレンジに登録しましたが、有効な最終ソリューションと結果を再現するコードを提出した 6 チームの結果を報告します。
さらに、開発されたデータセットに対する最先端の VQA 手法のパフォーマンスを計算して提示し、将来の研究のための包括的なベンチマークを提供しました。
データセット、結果、オンライン リーダーボードは、https://challenges.videoprocessing.ai/challenges/compressedvideo-quality-assessment.html で公開されています。
要約(オリジナル)
Video quality assessment (VQA) is a crucial task in the development of video compression standards, as it directly impacts the viewer experience. This paper presents the results of the Compressed Video Quality Assessment challenge, held in conjunction with the Advances in Image Manipulation (AIM) workshop at ECCV 2024. The challenge aimed to evaluate the performance of VQA methods on a diverse dataset of 459 videos, encoded with 14 codecs of various compression standards (AVC/H.264, HEVC/H.265, AV1, and VVC/H.266) and containing a comprehensive collection of compression artifacts. To measure the methods performance, we employed traditional correlation coefficients between their predictions and subjective scores, which were collected via large-scale crowdsourced pairwise human comparisons. For training purposes, participants were provided with the Compressed Video Quality Assessment Dataset (CVQAD), a previously developed dataset of 1022 videos. Up to 30 participating teams registered for the challenge, while we report the results of 6 teams, which submitted valid final solutions and code for reproducing the results. Moreover, we calculated and present the performance of state-of-the-art VQA methods on the developed dataset, providing a comprehensive benchmark for future research. The dataset, results, and online leaderboard are publicly available at https://challenges.videoprocessing.ai/challenges/compressedvideo-quality-assessment.html.
arxiv情報
| 著者 | Maksim Smirnov,Aleksandr Gushchin,Anastasia Antsiferova,Dmitry Vatolin,Radu Timofte,Ziheng Jia,Zicheng Zhang,Wei Sun,Jiaying Qian,Yuqin Cao,Yinan Sun,Yuxin Zhu,Xiongkuo Min,Guangtao Zhai,Kanjar De,Qing Luo,Ao-Xiang Zhang,Peng Zhang,Haibo Lei,Linyan Jiang,Yaqing Li,Wenhui Meng,Zhenzhong Chen,Zhengxue Cheng,Jiahao Xiao,Jun Xu,Chenlong He,Qi Zheng,Ruoxi Zhu,Min Li,Yibo Fan,Zhengzhong Tu |
| 発行日 | 2024-10-22 16:58:09+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google