SQ-GAN: Semantic Image Communications Using Masked Vector Quantization

要約

この作業では、セマンティック/タスク指向の通信の画像圧縮を最適化する生成モデルを統合する新しいアプローチである、セマンティックマスクされたVQ-Gan（SQ-Gan）を紹介します。
SQ-Ganは、既製のセマンティックセマンティックセグメンテーションと、特別に開発された新しいセマンティックコンディショニング済み適応マスクモジュール（SAMM）を使用して、画像の意味的に重要な機能を選択的にエンコードします。
SQ-Ganは、ピクセルあたりビットで発現する極端な低圧縮速度で、知覚品質とセマンティックセグメンテーションの再構築画像の知覚品質とセマンティックセグメンテーションの精度を含む、複数のメトリック全体でJPEG2000やBPGなどの最先端の画像圧縮スキームを上回ります。

要約(オリジナル)

This work introduces Semantically Masked VQ-GAN (SQ-GAN), a novel approach integrating generative models to optimize image compression for semantic/task-oriented communications. SQ-GAN employs off-the-shelf semantic semantic segmentation and a new specifically developed semantic-conditioned adaptive mask module (SAMM) to selectively encode semantically significant features of the images. SQ-GAN outperforms state-of-the-art image compression schemes such as JPEG2000 and BPG across multiple metrics, including perceptual quality and semantic segmentation accuracy on the post-decoding reconstructed image, at extreme low compression rates expressed in bits per pixel.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google