Image Compression with Product Quantized Masked Image Modeling

要約

最近のニューラル圧縮法は、一般的なハイパープリオールフレームワークに基づいている。これはスカラー量子化に依存しており、非常に強力な圧縮性能を提供する。これは、ベクトル量子化がより一般的に採用されている、画像生成や表現学習における最近の進歩とは対照的である。本研究では、画像圧縮のためのベクトル量子化を再検討することで、これらの研究ラインをより近づけることを試みる。VQ-VAEのフレームワークをベースに、いくつかの改良を加える。まず、従来のベクトル量子化器を積量子化器に置き換えます。このベクトル量子化とスカラー量子化の中間的なソリューションにより、より広いレート歪み点のセットが可能になります：そうでなければ扱いにくいほど大きなコードブックを必要とする高品質な量子化器を暗黙のうちに定義します。第二に、自己教師付き学習と生成画像モデルの文脈におけるマスクド・イメージ・モデリング（MIM）の成功に触発され、量子化された潜在符号の共依存性をモデル化することによってエントロピー符号化を改善する、新しい条件付きエントロピーモデルを提案する。結果として得られるPQ-MIMモデルは驚くほど効果的であり、その圧縮性能は最近のハイパープリファレンス法と同等である。また、知覚的な損失（敵対的な損失など）で最適化された場合、FIDとKIDメトリクスの点でHiFiCを上回る。最後に、PQ-MIMは画像生成フレームワークと互換性があるため、圧縮と生成のハイブリッドモードで動作し、さらなる学習や微調整が不要であることを定性的に示す。その結果、画像が200バイトに圧縮されるような極端な圧縮領域、すなわちツイート以下の圧縮領域を探求する。

要約(オリジナル)

Recent neural compression methods have been based on the popular hyperprior framework. It relies on Scalar Quantization and offers a very strong compression performance. This contrasts from recent advances in image generation and representation learning, where Vector Quantization is more commonly employed. In this work, we attempt to bring these lines of research closer by revisiting vector quantization for image compression. We build upon the VQ-VAE framework and introduce several modifications. First, we replace the vanilla vector quantizer by a product quantizer. This intermediate solution between vector and scalar quantization allows for a much wider set of rate-distortion points: It implicitly defines high-quality quantizers that would otherwise require intractably large codebooks. Second, inspired by the success of Masked Image Modeling (MIM) in the context of self-supervised learning and generative image models, we propose a novel conditional entropy model which improves entropy coding by modelling the co-dependencies of the quantized latent codes. The resulting PQ-MIM model is surprisingly effective: its compression performance on par with recent hyperprior methods. It also outperforms HiFiC in terms of FID and KID metrics when optimized with perceptual losses (e.g. adversarial). Finally, since PQ-MIM is compatible with image generation frameworks, we show qualitatively that it can operate under a hybrid mode between compression and generation, with no further training or finetuning. As a result, we explore the extreme compression regime where an image is compressed into 200 bytes, i.e., less than a tweet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL