ProductAE: Toward Deep Learning Driven Error-Correction Codes of Large Dimensions

要約

何十年にもわたる理論的研究により、いくつかのクラスのエラー訂正コードが発明されましたが、そのようなコードの設計は非常に困難な作業であり、ほとんどが人間の創意工夫にかかっています。
最近の研究では、機械学習 (ML) のツールを使用してそのような設計を効果的に自動化および高速化できることが示されています。これにより、従来の設計と比較してパフォーマンスが向上し、ML 駆動型のエラー訂正コードのクラスが可能になります。
ただし、基本的な課題は、完全に ML 駆動型のエンコーダーとデコーダーのペアを大きなコード次元で設計およびトレーニングすることは、不可能ではないにしても、非常に複雑であることです。
この論文では、管理可能なトレーニングの複雑さで比較的大きなコード（エンコーダーとデコーダーの両方）のトレーニングを可能にすることを目的とした、ディープラーニング主導の（エンコーダー、デコーダー）ペアの計算効率の高いファミリーであるProduct Autoencoder（ProductAE）を提案します。
.
私たちは、従来の製品コードからアイデアを構築し、より小さなコード コンポーネントを使用して大規模なニューラル コードを構築することを提案します。
ProductAE は、大きなコード次元 $k$ とブロック長 $n$ のエンコーダーとデコーダーをトレーニングする複雑な問題を、より小さな次元とブロック長のエンコーダーとデコーダーをトレーニングする複雑でないサブ問題に要約します。
私たちのトレーニング結果は、$k = 300$ ビットもの次元の ProductAE のトレーニングが成功し、最先端の古典的およびニューラル設計と比較して有意なパフォーマンスの向上を示しています。
さらに、トレーニングに使用されるモデルとは異なるチャネル モデルに対する ProductAE の優れた堅牢性と適応性を示します。

要約(オリジナル)

While decades of theoretical research have led to the invention of several classes of error-correction codes, the design of such codes is an extremely challenging task, mostly driven by human ingenuity. Recent studies demonstrate that such designs can be effectively automated and accelerated via tools from machine learning (ML), thus enabling ML-driven classes of error-correction codes with promising performance gains compared to classical designs. A fundamental challenge, however, is that it is prohibitively complex, if not impossible, to design and train fully ML-driven encoder and decoder pairs for large code dimensions. In this paper, we propose Product Autoencoder (ProductAE) — a computationally-efficient family of deep learning driven (encoder, decoder) pairs — aimed at enabling the training of relatively large codes (both encoder and decoder) with a manageable training complexity. We build upon ideas from classical product codes and propose constructing large neural codes using smaller code components. ProductAE boils down the complex problem of training the encoder and decoder for a large code dimension $k$ and blocklength $n$ to less-complex sub-problems of training encoders and decoders for smaller dimensions and blocklengths. Our training results show successful training of ProductAEs of dimensions as large as $k = 300$ bits with meaningful performance gains compared to state-of-the-art classical and neural designs. Moreover, we demonstrate excellent robustness and adaptivity of ProductAEs to channel models different than the ones used for training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google