Joint Hierarchical Priors and Adaptive Spatial Resolution for Efficient Neural Image Compression

要約

最近、ニューラル画像圧縮 (NIC) のパフォーマンスは、最終段階の研究のおかげで着実に向上しており、最先端の従来のコーデックに達するか、それを上回っています。
大きな進歩にもかかわらず、現在の NIC 手法は依然として ConvNet ベースのエントロピー コーディングに依存しており、ローカル接続性とアーキテクチャ上のバイアスと事前分布の数の増加により、長距離の依存関係のモデル化が制限されており、その結果、デコード レイテンシが高く、パフォーマンスが低い複雑なモデルが生成されます。
Tranformer ベースの変換コーディング フレームワーク、つまり SwinT-ChARM の効率調査を動機として、まず、より単純で効果的な Tranformer ベースのチャネルごとの自己回帰事前モデルを使用して後者を強化することを提案します。
絶対画像圧縮トランスフォーマー (ICT)。
提案された ICT を通じて、潜在表現からグローバルとローカルの両方のコンテキストをキャプチャし、量子化された潜在の分布をより適切にパラメーター化することができます。
さらに、サンドイッチ ConvNeXt ベースのプリ/ポストプロセッサーを備えた学習可能なスケーリング モジュールを活用して、高品質の画像を再構築しながら、よりコンパクトな潜在コードを正確に抽出します。
ベンチマーク データセットに関する広範な実験結果により、提案されたフレームワークは、多目的ビデオ コーディング (VVC) リファレンス エンコーダー (VTM-18.0) およびニューラル コーデック SwinT-ChARM に比べて、コーディング効率とデコーダーの複雑さの間のトレードオフを大幅に改善することが示されました。
さらに、モデルのスケーリング研究を提供してアプローチの計算効率を検証し、適応型画像圧縮変換器 (AICT) とニューラル コーデック SwinT-ChARM の間のパフォーマンスのギャップを浮き彫りにするためにいくつかの客観的および主観的な分析を実施します。

要約(オリジナル)

Recently, the performance of neural image compression (NIC) has steadily improved thanks to the last line of study, reaching or outperforming state-of-the-art conventional codecs. Despite significant progress, current NIC methods still rely on ConvNet-based entropy coding, limited in modeling long-range dependencies due to their local connectivity and the increasing number of architectural biases and priors, resulting in complex underperforming models with high decoding latency. Motivated by the efficiency investigation of the Tranformer-based transform coding framework, namely SwinT-ChARM, we propose to enhance the latter, as first, with a more straightforward yet effective Tranformer-based channel-wise auto-regressive prior model, resulting in an absolute image compression transformer (ICT). Through the proposed ICT, we can capture both global and local contexts from the latent representations and better parameterize the distribution of the quantized latents. Further, we leverage a learnable scaling module with a sandwich ConvNeXt-based pre-/post-processor to accurately extract more compact latent codes while reconstructing higher-quality images. Extensive experimental results on benchmark datasets showed that the proposed framework significantly improves the trade-off between coding efficiency and decoder complexity over the versatile video coding (VVC) reference encoder (VTM-18.0) and the neural codec SwinT-ChARM. Moreover, we provide model scaling studies to verify the computational efficiency of our approach and conduct several objective and subjective analyses to bring to the fore the performance gap between the adaptive image compression transformer (AICT) and the neural codec SwinT-ChARM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google