Wireless End-to-End Image Transmission System using Semantic Communications

要約

セマンティック通信はモバイル通信の未来と考えられており、受信側でデータをビットごとに再構成するのではなく、データのセマンティックな意味を送信することにより、シャノンの通信定理を超えてデータを送信することを目的としています。
セマンティック コミュニケーション パラダイムは、最新の大容量マルチメディア アプリケーション コンテンツ伝送における限られた帯域幅の問題のギャップを埋めることを目的としています。
AI テクノロジーを 6G 通信ネットワークと統合することで、セマンティック通信ベースのエンドツーエンド通信システムを開発する道が開かれました。
この研究では、セマンティック コミュニケーション ベースのエンド ツー エンド画像伝送システムを実装し、セマンティック コミュニケーション システムを物理チャネル特性と組み合わせて開発する際の潜在的な設計上の考慮事項について説明します。
事前トレーニング済みの GAN ネットワークが送信タスクとして受信機で使用され、受信機入力のセマンティック セグメント化された画像に基づいてリアルな画像が再構築されます。
送信機 (エンコーダー) でのセマンティック セグメンテーション タスクと受信機 (デコーダー) での GAN ネットワークは、共通の知識ベースである COCO-Stuff データセットでトレーニングされます。
この研究では、従来の通信システムとは対照的に、グラウンド トゥルース イメージの代わりに物理チャネルを介してセマンティック セグメンテーション マップを送信すると、帯域幅の節約という形でのリソースの利得が計り知れないことが示されています。
さらに、この研究では、セマンティック コミュニケーション ベースのマルチメディア コンテンツ伝送に対する物理チャネルの歪みと量子化ノイズの影響を研究しています。

要約(オリジナル)

Semantic communication is considered the future of mobile communication, which aims to transmit data beyond Shannon’s theorem of communications by transmitting the semantic meaning of the data rather than the bit-by-bit reconstruction of the data at the receiver’s end. The semantic communication paradigm aims to bridge the gap of limited bandwidth problems in modern high-volume multimedia application content transmission. Integrating AI technologies with the 6G communications networks paved the way to develop semantic communication-based end-to-end communication systems. In this study, we have implemented a semantic communication-based end-to-end image transmission system, and we discuss potential design considerations in developing semantic communication systems in conjunction with physical channel characteristics. A Pre-trained GAN network is used at the receiver as the transmission task to reconstruct the realistic image based on the Semantic segmented image at the receiver input. The semantic segmentation task at the transmitter (encoder) and the GAN network at the receiver (decoder) is trained on a common knowledge base, the COCO-Stuff dataset. The research shows that the resource gain in the form of bandwidth saving is immense when transmitting the semantic segmentation map through the physical channel instead of the ground truth image in contrast to conventional communication systems. Furthermore, the research studies the effect of physical channel distortions and quantization noise on semantic communication-based multimedia content transmission.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google