ClST: A Convolutional Transformer Framework for Automatic Modulation Recognition by Knowledge Distillation

要約

近年のディープラーニング（DL）の急速な発展に伴い、DLによる自動変調認識（AMR）も高い精度を実現しています。
しかし、複雑なチャネル環境や大規模な DL モデルにおけるトレーニング信号データの不足は、DL 手法の実際の展開を困難にする重要な要因です。
これらの問題を解決するために、畳み込みリンク信号変換器 (ClST) と呼ばれる新しいニューラル ネットワークと信号知識蒸留 (SKD) と呼ばれる新しい知識蒸留法を提案します。
ClST は、畳み込みを含むトランスフォーマーの階層、並列空間チャネル アテンション (PSCA) メカニズムと呼ばれる新しいアテンション メカニズム、および畳み込み投影を利用するための畳み込みトランスフォーマー投影 (CTP) と呼ばれる新しい畳み込みトランスフォーマー ブロックの 3 つの主要な変更を通じて実現されます。
SKD は、ニューラル ネットワークのパラメーターと複雑さを効果的に軽減するための知識蒸留方法です。
小型デバイスでニューラル ネットワークを使用できるという需要を満たすために、SKD アルゴリズムを使用して 2 つの軽量ニューラル ネットワーク (KD-CNN と KD-MobileNet) をトレーニングします。
シミュレーション結果は、ClST がすべてのデータセットで高度なニューラル ネットワークよりも優れたパフォーマンスを発揮することを示しています。
さらに、KD-CNN と KD-MobileNet は両方とも、ネットワークの複雑さを軽減しながらより高い認識精度を実現するため、小型通信デバイスへの AMR の展開にとって非常に有益です。

要約(オリジナル)

With the rapid development of deep learning (DL) in recent years, automatic modulation recognition (AMR) with DL has achieved high accuracy. However, insufficient training signal data in complicated channel environments and large-scale DL models are critical factors that make DL methods difficult to deploy in practice. Aiming to these problems, we propose a novel neural network named convolution-linked signal transformer (ClST) and a novel knowledge distillation method named signal knowledge distillation (SKD). The ClST is accomplished through three primary modifications: a hierarchy of transformer containing convolution, a novel attention mechanism named parallel spatial-channel attention (PSCA) mechanism and a novel convolutional transformer block named convolution-transformer projection (CTP) to leverage a convolutional projection. The SKD is a knowledge distillation method to effectively reduce the parameters and complexity of neural networks. We train two lightweight neural networks using the SKD algorithm, KD-CNN and KD-MobileNet, to meet the demand that neural networks can be used on miniaturized devices. The simulation results demonstrate that the ClST outperforms advanced neural networks on all datasets. Moreover, both KD-CNN and KD-MobileNet obtain higher recognition accuracy with less network complexity, which is very beneficial for the deployment of AMR on miniaturized communication devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google