XploreNAS: Explore Adversarially Robust & Hardware-efficient Neural Architectures for Non-ideal Xbars

要約

メムリスティブ クロスバーなどのコンピューティング インメモリ プラットフォームは、高い面積効率と計算効率でディープ ニューラル ネットワーク (DNN) の高速化を促進するため、注目を集めています。
ただし、クロスバーでのコンピューティングのアナログ性に関連する本質的な非理想性により、展開された DNN のパフォーマンスが制限されます。
さらに、DNN は敵対的攻撃に対して脆弱であり、大規模な展開で深刻なセキュリティ上の脅威につながることが示されています。
したがって、非理想的なクロスバーに対して敵対的に堅牢な DNN アーキテクチャを見つけることは、エッジに DNN を安全かつ確実に展開するために重要です。
この作業では、XploreNAS と呼ばれる 2 フェーズのアルゴリズムとハードウェアの共同最適化アプローチを提案します。このアプローチは、非理想的なクロスバー プラットフォーム用のハードウェア効率が高く、敵対的に堅牢なニューラル アーキテクチャを検索します。
ワンショットのニューラル アーキテクチャ サーチ (NAS) アプローチを使用して、クロスバー認識を備えた大規模なスーパーネットをトレーニングし、そこから敵対的に堅牢なサブネットをサンプリングして、競争力のあるハードウェア効率を維持します。
ベンチマーク データセット (SVHN、CIFAR10 & CIFAR100) を使用したクロスバーでの実験では、クロスバー認識の敵対的トレーニングを受けたベースラインの ResNet-18 モデルに対して、検索されたサブネットの敵対的ロバスト性が最大 8 ～ 16% 向上することが示されました。
Neurosim ツールを使用して、エネルギー遅延面積積 (EDAP) の堅牢なサブネットをベンチマークし、追加のハードウェア効率主導の最適化により、サブネットは ResNet-18 ベースラインよりも 1.5​​ 倍から 1.6 倍低い EDAP を達成することがわかりました。

要約(オリジナル)

Compute In-Memory platforms such as memristive crossbars are gaining focus as they facilitate acceleration of Deep Neural Networks (DNNs) with high area and compute-efficiencies. However, the intrinsic non-idealities associated with the analog nature of computing in crossbars limits the performance of the deployed DNNs. Furthermore, DNNs are shown to be vulnerable to adversarial attacks leading to severe security threats in their large-scale deployment. Thus, finding adversarially robust DNN architectures for non-ideal crossbars is critical to the safe and secure deployment of DNNs on the edge. This work proposes a two-phase algorithm-hardware co-optimization approach called XploreNAS that searches for hardware-efficient & adversarially robust neural architectures for non-ideal crossbar platforms. We use the one-shot Neural Architecture Search (NAS) approach to train a large Supernet with crossbar-awareness and sample adversarially robust Subnets therefrom, maintaining competitive hardware-efficiency. Our experiments on crossbars with benchmark datasets (SVHN, CIFAR10 & CIFAR100) show upto ~8-16% improvement in the adversarial robustness of the searched Subnets against a baseline ResNet-18 model subjected to crossbar-aware adversarial training. We benchmark our robust Subnets for Energy-Delay-Area-Products (EDAPs) using the Neurosim tool and find that with additional hardware-efficiency driven optimizations, the Subnets attain ~1.5-1.6x lower EDAPs than ResNet-18 baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google