Real-time 6K Image Rescaling with Rate-distortion Optimization

要約

最新の画像再スケーリングは、HR 画像再構成のための埋め込み情報を含む低解像度 (LR) サムネイル画像に高解像度 (HR) 画像を埋め込むことを目的としています。
従来の画像超解像とは異なり、LR サムネイルに埋め込まれた情報により、元の画像に忠実な高忠実度の HR 画像復元が可能になります。
しかし、最先端の画像再スケーリング手法は、効率的な共有のために LR 画像ファイル サイズを最適化せず、超高解像度 (6K など) 画像再構成のリアルタイム パフォーマンスに達しません。
これら 2 つの課題に対処するために、リアルタイムの 6K レート歪みを考慮した画像再スケーリングのための新しいフレームワーク (HyperThumbnail) を提案します。
私たちのフレームワークは、最初に、私たちが提案する量子化予測モジュールを備えたエンコーダーによって HR 画像を JPEG LR サムネイルに埋め込みます。これにより、HR 再構成品質を最大化しながら、埋め込まれる LR JPEG サムネイルのファイル サイズが最小化されます。
次に、効率的な周波数認識デコーダが、LR 画像から高忠実度の HR 画像をリアルタイムで再構築します。
広範な実験により、私たちのフレームワークがレート歪みパフォーマンスにおいて以前の画像再スケーリングベースラインを上回り、リアルタイムで 6K 画像再構成を実行できることが実証されました。

要約(オリジナル)

Contemporary image rescaling aims at embedding a high-resolution (HR) image into a low-resolution (LR) thumbnail image that contains embedded information for HR image reconstruction. Unlike traditional image super-resolution, this enables high-fidelity HR image restoration faithful to the original one, given the embedded information in the LR thumbnail. However, state-of-the-art image rescaling methods do not optimize the LR image file size for efficient sharing and fall short of real-time performance for ultra-high-resolution (e.g., 6K) image reconstruction. To address these two challenges, we propose a novel framework (HyperThumbnail) for real-time 6K rate-distortion-aware image rescaling. Our framework first embeds an HR image into a JPEG LR thumbnail by an encoder with our proposed quantization prediction module, which minimizes the file size of the embedding LR JPEG thumbnail while maximizing HR reconstruction quality. Then, an efficient frequency-aware decoder reconstructs a high-fidelity HR image from the LR one in real time. Extensive experiments demonstrate that our framework outperforms previous image rescaling baselines in rate-distortion performance and can perform 6K image reconstruction in real time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google