Attention-based Adversarial Robust Distillation in Radio Signal Classifications for Low-Power IoT Devices

要約

自然言語処理やコンピュータービジョンなどの多くのアプリケーションで変圧器が大成功を収めたため、変圧器は自動変調分類に成功しています。
トランスベースの無線信号分類は、敵対例と呼ばれる知覚できない慎重に作成された攻撃に対して脆弱であることを示しました。
したがって、トランスベースの変調分類における敵対的な例に対する防御システムを提案します。
特にモノのインターネット（IoT）ベースのアプリケーションまたは電源が限られている環境でのデバイスの操作に適した計算効率の高いアーキテクチャの必要性を考慮すると、変調分類のためのコンパクトな変圧器を提案します。
変圧器の敵対的なトレーニングなどの堅牢なトレーニングの利点は、コンパクトな変圧器では達成できない場合があります。
これを実証することにより、敵対的な攻撃の存在下で堅牢性を高めることができる新しいコンパクトトランスを提案します。
新しい方法は、堅牢に訓練された大きなトランスから敵対的な注意マップをコンパクトな変圧器に転送することを目的としています。
提案された方法は、高速勾配法と投影された勾配降下攻撃など、考慮されたホワイトボックスシナリオの最先端の技術よりも優れています。
基礎となる作業メカニズムの推論を提供し、異なるアーキテクチャ間の敵対的な例の移動性を調査しました。
提案された方法には、敵対的な例の移動性から変圧器を保護する可能性があります。

要約(オリジナル)

Due to great success of transformers in many applications such as natural language processing and computer vision, transformers have been successfully applied in automatic modulation classification. We have shown that transformer-based radio signal classification is vulnerable to imperceptible and carefully crafted attacks called adversarial examples. Therefore, we propose a defense system against adversarial examples in transformer-based modulation classifications. Considering the need for computationally efficient architecture particularly for Internet of Things (IoT)-based applications or operation of devices in environment where power supply is limited, we propose a compact transformer for modulation classification. The advantages of robust training such as adversarial training in transformers may not be attainable in compact transformers. By demonstrating this, we propose a novel compact transformer that can enhance robustness in the presence of adversarial attacks. The new method is aimed at transferring the adversarial attention map from the robustly trained large transformer to a compact transformer. The proposed method outperforms the state-of-the-art techniques for the considered white-box scenarios including fast gradient method and projected gradient descent attacks. We have provided reasoning of the underlying working mechanisms and investigated the transferability of the adversarial examples between different architectures. The proposed method has the potential to protect the transformer from the transferability of adversarial examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google