Wireless Transmission of Images With The Assistance of Multi-level Semantic Information

要約

セマンティック指向の通信は、データのセマンティックのみを送信することで帯域幅の効率を高めることができると考えられてきました。
この論文では、深層学習技術に基づいており、エンドツーエンド方式でトレーニングされた、MLSC-image と呼ばれるワイヤレス画像送信用のマルチレベルの意味を意識した通信システムを提案します。
特に、提案されたモデルには、テキストの意味論やセグメンテーションの意味論などの高レベルの意味論的情報と、画像の局所的な空間詳細などの低レベルの意味論的情報の両方を抽出するマルチレベルの意味論的特徴抽出器が含まれています。
事前トレーニングされた画像キャプションを使用してテキストのセマンティクスをキャプチャし、事前トレーニングされた画像セグメンテーション モデルを使用してセグメンテーション セマンティクスを取得します。
これらの高レベルおよび低レベルのセマンティック特徴は、結合セマンティックおよびチャネル エンコーダによって結合され、シンボルにエンコードされ、物理チャネルを介して送信されます。
数値結果は、特に帯域幅が制限された条件下で、提案されたセマンティック通信システムの有効性と効率を検証し、画像の圧縮における高レベルのセマンティックスの利点を示しています。

要約(オリジナル)

Semantic-oriented communication has been considered as a promising to boost the bandwidth efficiency by only transmitting the semantics of the data. In this paper, we propose a multi-level semantic aware communication system for wireless image transmission, named MLSC-image, which is based on the deep learning techniques and trained in an end to end manner. In particular, the proposed model includes a multilevel semantic feature extractor, that extracts both the highlevel semantic information, such as the text semantics and the segmentation semantics, and the low-level semantic information, such as local spatial details of the images. We employ a pretrained image caption to capture the text semantics and a pretrained image segmentation model to obtain the segmentation semantics. These high-level and low-level semantic features are then combined and encoded by a joint semantic and channel encoder into symbols to transmit over the physical channel. The numerical results validate the effectiveness and efficiency of the proposed semantic communication system, especially under the limited bandwidth condition, which indicates the advantages of the high-level semantics in the compression of images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google