要約
畳み込みニューラルネットワーク（CNN）に基づく手法は、圧縮された画像やビデオの品質を向上させるための効果的なソリューションを提供します。しかし、これらの方法は、品質向上のための生データの使用を無視している。本論文では、オンライン学習に基づく手法を提案することで、HEVCイントラ符号化画像の品質向上に生データを採用することを提案する。本手法では、エンコーダ側で提案モデルをオンライン学習し、そのパラメータを用いてデコーダ側のモデルを更新することで、品質向上が要求される場合に、エンコーダ側のモデルを更新する。この方法は、モデルの性能を向上させるだけでなく、一つのモデルを複数の符号化シナリオに適用できるようにするものである。また、離散コサイン変換（DCT）係数の量子化誤差は、様々なHEVC圧縮アーチファクトの根本原因である。そこで、我々は周波数領域の事前分布を組み合わせて、画像再構成を支援する。我々はDCTに基づく畳み込み層を設計し、CNNの学習に適したDCT係数を生成する。実験の結果、我々の提案するオンライン学習ベースのデュアルドメインネットワーク（OL-DN）は、最先端の手法と比較して、優れた性能を達成したことが示された。
要約(オリジナル)
Convolution neural network (CNN) based methods offer effective solutions for enhancing the quality of compressed image and video. However, these methods ignore using the raw data to enhance the quality. In this paper, we adopt the raw data in the quality enhancement for the HEVC intra-coded image by proposing an online learning-based method. When quality enhancement is demanded, we online train our proposed model at encoder side and then use the parameters to update the model of decoder side. This method not only improves model performance, but also makes one model adoptable to multiple coding scenarios. Besides, quantization error in discrete cosine transform (DCT) coefficients is the root cause of various HEVC compression artifacts. Thus, we combine frequency domain priors to assist image reconstruction. We design a DCT based convolution layer, to produce DCT coefficients that are suitable for CNN learning. Experimental results show that our proposed online learning based dual-domain network (OL-DN) has achieved superior performance, compared with the state-of-the-art methods.
arxiv情報
| 著者 | Renwei Yang,Shuyuan Zhu,Xiaozhen Zheng,Bing Zeng |
| 発行日 | 2022-08-09 11:06:59+00:00 |
| arxivサイト | arxiv_id(pdf) |