Learning End-to-End Channel Coding with Diffusion Models

要約

深層学習によるニューラル エンコーダーのトレーニングには、バックプロパゲーション アルゴリズムにより微分可能なチャネル モデルが必要です。
この要件は、現実のシナリオでパイロット信号を介してチャネル分布またはその勾配を近似することによって回避できます。
最初のアプローチでは、画像生成の最新の進歩を活用し、敵対的生成ネットワーク (GAN) またはその拡張されたバリアントを利用してチャネル分布を生成します。
この論文では、画像生成における高いサンプル品質を実証した拡散モデルを使用して、このチャネル近似の課題に取り組みます。
私たちは、拡散モデルに裏付けられたエンドツーエンドのチャネルコーディングフレームワークを提供し、効率的なトレーニングアルゴリズムを提案します。
さまざまなチャネル モデルを使用したシミュレーションにより、拡散モデルがチャネル分布を正確に学習し、それによって最適に近いエンドツーエンドのシンボル誤り率 (SER) が達成されることが確認されました。
また、拡散モデルの重要な利点にも注目します。それは、エラーフロアに悩まされる GAN バリアントとは対照的に、高信号対雑音比領域での堅牢な一般化機能です。
さらに、加速されたサンプリング アルゴリズムが展開されている場合のサンプル品質とサンプリング速度の間のトレードオフを調べ、このトレードオフに対するノイズ スケジューリングの影響を調査します。
ノイズ スケジューリングを適切に選択すると、SER がわずかに増加するだけでサンプリング時間を大幅に短縮できます。

要約(オリジナル)

The training of neural encoders via deep learning necessitates a differentiable channel model due to the backpropagation algorithm. This requirement can be sidestepped by approximating either the channel distribution or its gradient through pilot signals in real-world scenarios. The initial approach draws upon the latest advancements in image generation, utilizing generative adversarial networks (GANs) or their enhanced variants to generate channel distributions. In this paper, we address this channel approximation challenge with diffusion models, which have demonstrated high sample quality in image generation. We offer an end-to-end channel coding framework underpinned by diffusion models and propose an efficient training algorithm. Our simulations with various channel models establish that our diffusion models learn the channel distribution accurately, thereby achieving near-optimal end-to-end symbol error rates (SERs). We also note a significant advantage of diffusion models: A robust generalization capability in high signal-to-noise ratio regions, in contrast to GAN variants that suffer from error floor. Furthermore, we examine the trade-off between sample quality and sampling speed, when an accelerated sampling algorithm is deployed, and investigate the effect of the noise scheduling on this trade-off. With an apt choice of noise scheduling, sampling time can be significantly reduced with a minor increase in SER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google