Once-for-All: Controllable Generative Image Compression with Dynamic Granularity Adaption

要約

最近の生成画像圧縮方法は、レートと歪みと知覚のトレードオフの最適化において優れた可能性を示していますが、多様な圧縮の必要性やシナリオに柔軟にレートを適応させるという重要な課題に依然として直面しています。
この課題を克服するために、この文書では、制御可能な生成画像圧縮フレームワークである Control-GIC を提案します。これは、高忠実度で汎用性の高い圧縮を確保しながら、広範囲にわたるきめ細かいビットレート適応が可能な初めてのフレームワークです。
Control-GIC は、画像を可変長コード (つまり VQ インデックス) のシーケンスとして表す VQGAN フレームワークに基づいています。このフレームワークは可逆圧縮でき、ビットレートと直接的な正の相関関係を示します。
したがって、古典的なコーディング原理からインスピレーションを得て、ローカル画像パッチの情報密度とその粒度表現を自然に相関させ、さまざまな粒度の決定に応じてコード量を動的に調整します。
これは、望ましい圧縮率を取得するためにパッチの粒度の適切な割り当てを柔軟に決定できることを意味します。
さらに、送信されたコードに従ってエンコードされた多粒度表現を過去に遡ることができる確率的条件付きデコーダを開発し、条件付き確率の形式化で階層的粒度特徴を再構築し、より情報量の多い集約を可能にして再構築の現実性を向上させます。
私たちの実験では、Control-GIC により、非常に柔軟で制御可能なビットレート適応が可能になり、データセット全体を 1 回でも圧縮して、制約されたビットレート条件を満たすことができることがわかりました。
実験結果は、最近の最先端の方法よりも優れたパフォーマンスを示しています。

要約(オリジナル)

Although recent generative image compression methods have demonstrated impressive potential in optimizing the rate-distortion-perception trade-off, they still face the critical challenge of flexible rate adaption to diverse compression necessities and scenarios. To overcome this challenge, this paper proposes a Controllable Generative Image Compression framework, Control-GIC, the first capable of fine-grained bitrate adaption across a broad spectrum while ensuring high-fidelity and generality compression. We base Control-GIC on a VQGAN framework representing an image as a sequence of variable-length codes (i.e. VQ-indices), which can be losslessly compressed and exhibits a direct positive correlation with the bitrates. Therefore, drawing inspiration from the classical coding principle, we naturally correlate the information density of local image patches with their granular representations, to achieve dynamic adjustment of the code quantity following different granularity decisions. This implies we can flexibly determine a proper allocation of granularity for the patches to acquire desirable compression rates. We further develop a probabilistic conditional decoder that can trace back to historic encoded multi-granularity representations according to transmitted codes, and then reconstruct hierarchical granular features in the formalization of conditional probability, enabling more informative aggregation to improve reconstruction realism. Our experiments show that Control-GIC allows highly flexible and controllable bitrate adaption and even once compression on an entire dataset to fulfill constrained bitrate conditions. Experimental results demonstrate its superior performance over recent state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google