要約
超解像度 (SR) は、細部を再構築しながら空間解像度を高めることにより、ビデオ コンテンツの視覚品質を向上させる重要な技術です。
SR は、ビデオ ストリーミングを含む多くのアプリケーションで採用されています。ビデオ ストリーミングでは、通常、圧縮された低解像度コンテンツがエンド ユーザーに送信され、その後、より高い解像度と強化された品質で再構築されます。
リアルタイム再生をサポートするには、再構築の品質を維持しながら高速 SR モデルを実装することが重要です。
しかし、既存のソリューション、特に複雑なディープ ニューラル ネットワークに基づくソリューションのほとんどは、これに失敗しています。
この問題に対処するために、この論文では、a) 360p から 1080p へ、b) 540p から 4K への解像度のアップスケーリングに焦点を当て、圧縮ビデオ コンテンツの視覚品質を向上させるように設計された、低複雑性の SR 手法である RTSR を提案します。
提案されたアプローチは、デュアル教師知識蒸留法に基づいてさまざまな量子化レベルで AV1 (SVT) でエンコードされたコンテンツ用に最適化された CNN ベースのネットワーク アーキテクチャを利用します。
このメソッドは、特に効率的/モバイル リアルタイム ビデオ超解像度コンテストを対象とした、AIM 2024 ビデオ超解像度チャレンジに提出されました。
これは、6 つの提案すべての中で、複雑さとコーディング パフォーマンス (PSNR、SSIM、および VMAF で測定) の間で最良のトレードオフを達成しました。
コードは間もなく利用可能になります。
要約(オリジナル)
Super-resolution (SR) is a key technique for improving the visual quality of video content by increasing its spatial resolution while reconstructing fine details. SR has been employed in many applications including video streaming, where compressed low-resolution content is typically transmitted to end users and then reconstructed with a higher resolution and enhanced quality. To support real-time playback, it is important to implement fast SR models while preserving reconstruction quality; however most existing solutions, in particular those based on complex deep neural networks, fail to do so. To address this issue, this paper proposes a low-complexity SR method, RTSR, designed to enhance the visual quality of compressed video content, focusing on resolution up-scaling from a) 360p to 1080p and from b) 540p to 4K. The proposed approach utilizes a CNN-based network architecture, which was optimized for AV1 (SVT)-encoded content at various quantization levels based on a dual-teacher knowledge distillation method. This method was submitted to the AIM 2024 Video Super-Resolution Challenge, specifically targeting the Efficient/Mobile Real-Time Video Super-Resolution competition. It achieved the best trade-off between complexity and coding performance (measured in PSNR, SSIM and VMAF) among all six submissions. The code will be available soon.
arxiv情報
| 著者 | Yuxuan Jiang,Jakub Nawała,Chen Feng,Fan Zhang,Xiaoqing Zhu,Joel Sole,David Bull |
| 発行日 | 2024-11-20 14:36:06+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google