SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction

要約

近年、低解像度の入力から高解像度の画像を生成する超解像（SR）に大きな関心が寄せられている。超解像のためのディープラーニングベースの手法は特に人気があり、様々なベンチマークで印象的な結果を示している。しかし、これらの手法は、強く圧縮された動画ではあまりうまく機能しない可能性があることが研究で示されている。我々は、圧縮された動画をアップスケールするSRの能力を分析するために、超解像ベンチマークを開発した。我々のデータセットは、広く使用されている5つの圧縮規格に基づくビデオコーデックを採用した：H.264、H.265、H.266、AV1、AVS3である。ベンチマークを使用して19の一般的なSRモデルを評価し、ディテールを復元する能力と圧縮アーチファクトに対する感受性を評価した。SRモデルの正確な知覚的ランキングを得るために、クラウドソーシングによる出力を並べて比較しました。その結果、いくつかのSRモデルは圧縮と組み合わせることで、画質を大きく損なうことなくビデオのビットレートを下げることができることがわかりました。また、超解像圧縮された動画に対する精度を評価するために、主観的なスコアでさまざまな画像と動画の品質メトリクスを比較しました。ベンチマークは https://videoprocessing.ai/benchmarks/super-resolution-for-video-compression.html で公開されています。

要約(オリジナル)

In recent years, there has been significant interest in Super-Resolution (SR), which focuses on generating a high-resolution image from a low-resolution input. Deep learning-based methods for super-resolution have been particularly popular and have shown impressive results on various benchmarks. However, research indicates that these methods may not perform as well on strongly compressed videos. We developed a super-resolution benchmark to analyze SR’s capacity to upscale compressed videos. Our dataset employed video codecs based on five widely-used compression standards: H.264, H.265, H.266, AV1, and AVS3. We assessed 19 popular SR models using our benchmark and evaluated their ability to restore details and their susceptibility to compression artifacts. To get an accurate perceptual ranking of SR models, we conducted a crowd-sourced side-by-side comparison of their outputs. We found that some SR models, combined with compression, allow us to reduce the video bitrate without significant loss of quality. We also compared a range of image and video quality metrics with subjective scores to evaluate their accuracy on super-resolved compressed videos. The benchmark is publicly available at https://videoprocessing.ai/benchmarks/super-resolution-for-video-compression.html

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL