Content Adaptive Latents and Decoder for Neural Image Compression

要約

近年、ニューラル画像圧縮 (NIC) アルゴリズムは強力なコーディング パフォーマンスを示しています。
ただし、それらのほとんどは画像コンテンツに適応していません。
エンコーダ側のコンポーネントを更新することにより、いくつかのコンテンツ適応方法が提案されていますが、潜在変数とデコーダの両方の適応性は十分に活用されていません。
この作業では、潜在変数とデコーダーの両方でコンテンツの適応性を向上させる新しい NIC フレームワークを提案します。
具体的には、潜在の冗長性を取り除くために、当社のコンテンツ適応チャネル ドロップ (CACD) メソッドは、潜在の最適な品質レベルを空間的に自動的に選択し、冗長なチャネルをドロップします。
さらに、画像コンテンツの特徴情報を抽出し、デコーダ側で特徴を変換するために使用することで、デコーダ側のコンテンツ適応性を改善するためのコンテンツ適応特徴変換（CAFT）法を提案します。
実験結果は、エンコーダ側の更新アルゴリズムを使用した提案された方法が最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

In recent years, neural image compression (NIC) algorithms have shown powerful coding performance. However, most of them are not adaptive to the image content. Although several content adaptive methods have been proposed by updating the encoder-side components, the adaptability of both latents and the decoder is not well exploited. In this work, we propose a new NIC framework that improves the content adaptability on both latents and the decoder. Specifically, to remove redundancy in the latents, our content adaptive channel dropping (CACD) method automatically selects the optimal quality levels for the latents spatially and drops the redundant channels. Additionally, we propose the content adaptive feature transformation (CAFT) method to improve decoder-side content adaptability by extracting the characteristic information of the image content, which is then used to transform the features in the decoder side. Experimental results demonstrate that our proposed methods with the encoder-side updating algorithm achieve the state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google