要約
近年、低解像度の入力から高解像度の画像を生成することに焦点を当てた超解像度 (SR) に大きな関心が集まっています。
深層学習ベースの超解像手法は特に人気があり、さまざまなベンチマークで素晴らしい結果を示しています。
ただし、調査によると、これらの方法は強く圧縮されたビデオではそれほどパフォーマンスが良くない可能性があります。
私たちは、圧縮ビデオをアップスケールする SR の能力を分析するための超解像度ベンチマークを開発しました。
私たちのデータセットでは、広く使用されている 5 つの圧縮規格 (H.264、H.265、H.266、AV1、AVS3) に基づくビデオ コーデックを採用しました。
ベンチマークを使用して 19 の人気のある SR モデルを評価し、詳細を復元する能力と圧縮アーティファクトの影響を受けやすいかを評価しました。
SR モデルの正確な知覚ランキングを取得するために、クラウドソースによる出力の並べて比較を実施しました。
一部の SR モデルを圧縮と組み合わせると、品質を大幅に損なうことなくビデオ ビットレートを削減できることがわかりました。
また、さまざまな画像およびビデオの品質指標を主観的なスコアと比較して、超解像度の圧縮ビデオでの精度を評価しました。
ベンチマークは https://videoprocessing.ai/benchmarks/super-resolution-for-video-compression.html で公開されています。
要約(オリジナル)
In recent years, there has been significant interest in Super-Resolution (SR), which focuses on generating a high-resolution image from a low-resolution input. Deep learning-based methods for super-resolution have been particularly popular and have shown impressive results on various benchmarks. However, research indicates that these methods may not perform as well on strongly compressed videos. We developed a super-resolution benchmark to analyze SR’s capacity to upscale compressed videos. Our dataset employed video codecs based on five widely-used compression standards: H.264, H.265, H.266, AV1, and AVS3. We assessed 19 popular SR models using our benchmark and evaluated their ability to restore details and their susceptibility to compression artifacts. To get an accurate perceptual ranking of SR models, we conducted a crowd-sourced side-by-side comparison of their outputs. We found that some SR models, combined with compression, allow us to reduce the video bitrate without significant loss of quality. We also compared a range of image and video quality metrics with subjective scores to evaluate their accuracy on super-resolved compressed videos. The benchmark is publicly available at https://videoprocessing.ai/benchmarks/super-resolution-for-video-compression.html
arxiv情報
| 著者 | Evgeney Bogatyrev,Ivan Molodetskikh,Dmitriy Vatolin |
| 発行日 | 2024-08-20 15:57:00+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google