Codebook-enabled Generative End-to-end Semantic Communication Powered by Transformer

要約

コードブックが送信機と受信機間で共有される場合、送信する必要があるのはインデックスのみであるため、コードブックベースの生成セマンティック通信はますます注目を集めています。
しかし、コードベクトル間の意味論的関係は必ずしも対応するコードインデックスの距離に関係しないという事実により、コードブック対応意味論的通信システムの性能はチャネルノイズの影響を受けやすい。
したがって、ノイズに対するシステムの堅牢性を向上させるには、慎重な設計が必要です。
この論文では、堅牢なコードブック支援画像セマンティック通信システムを提案します。このシステムでは、まずセマンティックコーデックとコードブックが共同で構築され、次に、コードブックに基づいてベクトルからインデックスへの変換器が設計され、チャネルノイズの影響を排除し、画像生成を実現します。
Transformer への高品質コードブックの支援のおかげで、受信機で生成された画像は、視覚認識の点で比較した方法よりも優れています。
最終的に、数値結果と生成された画像は、JPEG+LDPC および従来のジョイント ソース チャネル コーディング (JSCC) 方式に対する生成セマンティック通信方式の利点を示しています。

要約(オリジナル)

Codebook-based generative semantic communication attracts increasing attention, since only indices are required to be transmitted when the codebook is shared between transmitter and receiver. However, due to the fact that the semantic relations among code vectors are not necessarily related to the distance of the corresponding code indices, the performance of the codebook-enabled semantic communication system is susceptible to the channel noise. Thus, how to improve the system robustness against the noise requires careful design. This paper proposes a robust codebook-assisted image semantic communication system, where semantic codec and codebook are first jointly constructed, and then vector-to-index transformer is designed guided by the codebook to eliminate the effects of channel noise, and achieve image generation. Thanks to the assistance of the high-quality codebook to the Transformer, the generated images at the receiver outperform those of the compared methods in terms of visual perception. In the end, numerical results and generated images demonstrate the advantages of the generative semantic communication method over JPEG+LDPC and traditional joint source channel coding (JSCC) methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google