Learned Image Transmission with Hierarchical Variational Autoencoder

要約

このホワイトペーパーでは、階層変動自動エンコーダー（VAE）を利用して、画像伝送のための革新的な階層的ジョイントソースチャネルコーディング（HJSCC）フレームワークを紹介します。
私たちのアプローチは、送信機のボトムアップパスとトップダウンパスの組み合わせを活用して、元の画像の複数の階層表現を自動再生的に生成します。
これらの表現は、JSCCエンコーダーによる送信用のチャネルシンボルに直接マッピングされます。
このフレームワークは、フィードバックリンクを使用してシナリオに拡張し、確率的サンプリングプロセスとしてノイズの多いチャネル上のモデリング送信、およびフィードバックを使用してJSCCの新しい生成定式化を導き出します。
既存のアプローチと比較して、提案されているHJSCCは、トランスミッション帯域幅を動的に調整し、これらの表現をさまざまな量のチャネルシンボルにエンコードすることにより、適応性の向上を提供します。
さまざまな解像度の画像に関する広範な実験は、提案されているモデルが速度延長パフォーマンスの既存のベースラインを上回り、チャネルノイズに対する堅牢性を維持することを示しています。
ソースコードは、受け入れられると利用可能になります。

要約(オリジナル)

In this paper, we introduce an innovative hierarchical joint source-channel coding (HJSCC) framework for image transmission, utilizing a hierarchical variational autoencoder (VAE). Our approach leverages a combination of bottom-up and top-down paths at the transmitter to autoregressively generate multiple hierarchical representations of the original image. These representations are then directly mapped to channel symbols for transmission by the JSCC encoder. We extend this framework to scenarios with a feedback link, modeling transmission over a noisy channel as a probabilistic sampling process and deriving a novel generative formulation for JSCC with feedback. Compared with existing approaches, our proposed HJSCC provides enhanced adaptability by dynamically adjusting transmission bandwidth, encoding these representations into varying amounts of channel symbols. Extensive experiments on images of varying resolutions demonstrate that our proposed model outperforms existing baselines in rate-distortion performance and maintains robustness against channel noise. The source code will be made available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google