MOC-RVQ: Multilevel Codebook-assisted Digital Generative Semantic Communication

要約

ベクトル量子化ベースの画像セマンティック通信システムは、伝送効率の向上に成功しましたが、コードブック設計とデジタル コンステレーション変調の間の矛盾する要件という課題に直面しています。
従来のコードブックでは広いインデックス範囲が必要ですが、変調では少数の離散状態が優先されます。
これに対処するために、2 段階のトレーニング フレームワークを備えたマルチレベルの生成的意味論的通信システムを提案します。
最初の段階では、マルチヘッド 8 値コードブック (MOC) を使用してインデックス範囲を圧縮し、高品質のコードブックをトレーニングします。
また、効果的なマルチレベル通信のために残差ベクトル量子化 (RVQ) メカニズムも統合しています。
第 2 段階では、Swin Transformer に基づくノイズ リダクション ブロック (NRB) が導入され、第 1 段階のマルチレベル コードブックと組み合わせて、生成特徴復元のための高品質のセマンティック知識ベース (SKB) として機能します。
実験結果は、チャネル誤り訂正符号化を行わない場合でも、BPG や JPEG などの方法よりも MOC-RVQ の優れたパフォーマンスを強調しています。

要約(オリジナル)

Vector quantization-based image semantic communication systems have successfully boosted transmission efficiency, but face a challenge with conflicting requirements between codebook design and digital constellation modulation. Traditional codebooks need a wide index range, while modulation favors few discrete states. To address this, we propose a multilevel generative semantic communication system with a two-stage training framework. In the first stage, we train a high-quality codebook, using a multi-head octonary codebook (MOC) to compress the index range. We also integrate a residual vector quantization (RVQ) mechanism for effective multilevel communication. In the second stage, a noise reduction block (NRB) based on Swin Transformer is introduced, coupled with the multilevel codebook from the first stage, serving as a high-quality semantic knowledge base (SKB) for generative feature restoration. Experimental results highlight MOC-RVQ’s superior performance over methods like BPG or JPEG, even without channel error correction coding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google