AICT: An Adaptive Image Compression Transformer

要約

Tranformer ベースの変換コーディング フレームワーク、つまり SwinT-ChARM の効率調査を動機として、まず、より単純で効果的な Tranformer ベースのチャネルごとの自己回帰事前モデルを使用して後者を強化することを提案します。
絶対画像圧縮トランスフォーマー (ICT)。
ConvNet ベースのエントロピー コーディングに依然として依存している現在のメソッドは、ローカル接続性とアーキテクチャ上のバイアスと事前確率の増加により、長距離モデリングの依存関係が制限されています。
それどころか、提案された ICT は、潜在表現からグローバルとローカルの両方のコンテキストをキャプチャし、量子化された潜在の分布をより適切にパラメーター化できます。
さらに、サンドイッチ ConvNeXt ベースのプリ/ポストプロセッサーを備えた学習可能なスケーリング モジュールを活用して、高品質の画像を再構築しながら、よりコンパクトな潜在表現を正確に抽出します。
ベンチマーク データセットに関する広範な実験結果により、提案された適応型画像圧縮トランスフォーマー (AICT) フレームワークは、多目的ビデオ コーディング (VVC) リファレンス エンコーダー (VTM-18.0) およびニューラル コーデック SwinT に比べて、コーディング効率とデコーダーの複雑さの間のトレードオフを大幅に改善することが示されました。
-魅力。

要約(オリジナル)

Motivated by the efficiency investigation of the Tranformer-based transform coding framework, namely SwinT-ChARM, we propose to enhance the latter, as first, with a more straightforward yet effective Tranformer-based channel-wise auto-regressive prior model, resulting in an absolute image compression transformer (ICT). Current methods that still rely on ConvNet-based entropy coding are limited in long-range modeling dependencies due to their local connectivity and an increasing number of architectural biases and priors. On the contrary, the proposed ICT can capture both global and local contexts from the latent representations and better parameterize the distribution of the quantized latents. Further, we leverage a learnable scaling module with a sandwich ConvNeXt-based pre/post-processor to accurately extract more compact latent representation while reconstructing higher-quality images. Extensive experimental results on benchmark datasets showed that the proposed adaptive image compression transformer (AICT) framework significantly improves the trade-off between coding efficiency and decoder complexity over the versatile video coding (VVC) reference encoder (VTM-18.0) and the neural codec SwinT-ChARM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google