Wireless End-to-End Image Transmission System using Semantic Communications

要約

タイトル：セマンティック通信を用いた無線エンドツーエンド画像伝送システム

要約：
– セマンティック通信は、データをビット単位ではなくデータの意味を伝えることにより、シャノンの定理を超えたデータ伝送を目指す移動体通信の将来を考える。
– 本研究では、AI技術を6G通信ネットワークに統合することで、エンドツーエンドシステムを作成することができた。
– 本研究では、セマンティック通信ベースのエンドツーエンド画像伝送システムを実装し、物理チャネル特性と共にセマンティック通信システムの開発上の潜在的な設計上の考慮事項について説明する。
– 受信側では、Pre-trained GANネットワークを使用して、セマンティックセグメンテーションされた画像からリアリスティックな画像を再構築するための伝送タスクを行った。
– 送信側のセマンティックセグメンテーションタスクと受信側のGANネットワークは、COCO-Stuffデータセットを共通の知識ベースとしてトレーニングされた。
– 本研究は、従来の通信システムと比較して、物理チャネルを介してセマンティックセグメンテーションマップを伝送することで、帯域幅の節約というリソースの利得が巨大であることを示した。
– また、本研究は、物理チャネルの歪みと量子化ノイズがセマンティック通信ベースのマルチメディアコンテンツ伝送に及ぼす影響についても研究している。

要約(オリジナル)

Semantic communication is considered the future of mobile communication, which aims to transmit data beyond Shannon’s theorem of communications by transmitting the semantic meaning of the data rather than the bit-by-bit reconstruction of the data at the receiver’s end. The semantic communication paradigm aims to bridge the gap of limited bandwidth problems in modern high-volume multimedia application content transmission. Integrating AI technologies with the 6G communications networks paved the way to develop semantic communication-based end-to-end communication systems. In this study, we have implemented a semantic communication-based end-to-end image transmission system, and we discuss potential design considerations in developing semantic communication systems in conjunction with physical channel characteristics. A Pre-trained GAN network is used at the receiver as the transmission task to reconstruct the realistic image based on the Semantic segmented image at the receiver input. The semantic segmentation task at the transmitter (encoder) and the GAN network at the receiver (decoder) is trained on a common knowledge base, the COCO-Stuff dataset. The research shows that the resource gain in the form of bandwidth saving is immense when transmitting the semantic segmentation map through the physical channel instead of the ground truth image in contrast to conventional communication systems. Furthermore, the research studies the effect of physical channel distortions and quantization noise on semantic communication-based multimedia content transmission.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI