Robust Semantic Communications with Masked VQ-VAE Enabled Codebook

要約

タイトル：マスク済みVQ-VAE有効なコードブックを用いた頑健なセマンティックコミュニケーション

要約：

– セマンティックコミュニケーションは、多くのタスクにおいて十分な性能を発揮しているが、セマンティックノイズの影響やシステムの頑健性についてはまだ十分に研究されていない。
– セマンティックノイズとは、意図したセマンティックシンボルと受信したシンボルとの誤解釈によってタスクの失敗を引き起こすものである。
– 本論文では、セマンティックノイズに対抗するための頑健なエンドツーエンドセマンティックコミュニケーションシステムのフレームワークを提案している。
– セマンティックノイズに対処するため、サンプル依存型とサンプル非依存型セマンティックノイズを分析し、重みの摂動を行う敵対的トレーニングを開発している。
– よく現れるセマンティックノイズがある部分の入力をマスクし、ノイズに関連するマスキング戦略を使用してマスクされたベクトル化量子自己符号化器（VQ-VAE）を設計している。
– 送信機と受信機が共有する離散的なコードブックを使用して、符号化された特徴表現を実現する。
– システムの頑健性をさらに向上させるために、特徴の重要性モジュール（FIM）を開発して、ノイズに関連する特徴とタスクに関連しない特徴を抑制している。
– 送信機は、コードブック内の重要なタスク関連の特徴のインデックスだけを送信する必要がある。
– シミュレーション結果によると、この手法は多くのダウンストリームタスクに適用でき、セマンティックノイズに対して頑健性を大幅に向上させ、転送オーバーヘッドを著しく低減することができる。

要約(オリジナル)

Although semantic communications have exhibited satisfactory performance for a large number of tasks, the impact of semantic noise and the robustness of the systems have not been well investigated. Semantic noise refers to the misleading between the intended semantic symbols and received ones, thus cause the failure of tasks. In this paper, we first propose a framework for the robust end-to-end semantic communication systems to combat the semantic noise. In particular, we analyze sample-dependent and sample-independent semantic noise. To combat the semantic noise, the adversarial training with weight perturbation is developed to incorporate the samples with semantic noise in the training dataset. Then, we propose to mask a portion of the input, where the semantic noise appears frequently, and design the masked vector quantized-variational autoencoder (VQ-VAE) with the noise-related masking strategy. We use a discrete codebook shared by the transmitter and the receiver for encoded feature representation. To further improve the system robustness, we develop a feature importance module (FIM) to suppress the noise-related and task-unrelated features. Thus, the transmitter simply needs to transmit the indices of these important task-related features in the codebook. Simulation results show that the proposed method can be applied in many downstream tasks and significantly improve the robustness against semantic noise with remarkable reduction on the transmission overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI