RNAS-CL: Robust Neural Architecture Search by Cross-Layer Knowledge Distillation

要約

ディープ ニューラル ネットワークは、敵対的攻撃に対して脆弱です。
ディープ ニューラル ネットワークの駆動ツールの 1 つである Neural Architecture Search (NAS) は、さまざまな機械学習アプリケーションで優れた予測精度のパフォーマンスを発揮します。
ただし、敵対的な攻撃に対してどのように機能するかは不明です。
堅牢な教師の存在を考えると、NAS が教師から堅牢性を継承することによって堅牢なニューラル アーキテクチャを生成するかどうかを調査することは興味深いでしょう。
この論文では、クロスレイヤー知識蒸留（RNAS-CL）によるロバストニューラルアーキテクチャ検索を提案します。これは、クロスレイヤー知識蒸留を通じて堅牢な教師から学習することにより、NASの堅牢性を向上させる新しいNASアルゴリズムです。
最後のレイヤーでのみ生徒と教師の密接なアウトプットを促進する従来の知識蒸留法とは異なり、RNAS-CL は各生徒レイヤーを監督するために最適な教師レイヤーを自動的に検索します。
実験結果は、RNAS-CL の有効性を証明し、RNAS-CL が小さくて堅牢なニューラル アーキテクチャを生成することを示しています。

要約(オリジナル)

Deep Neural Networks are vulnerable to adversarial attacks. Neural Architecture Search (NAS), one of the driving tools of deep neural networks, demonstrates superior performance in prediction accuracy in various machine learning applications. However, it is unclear how it performs against adversarial attacks. Given the presence of a robust teacher, it would be interesting to investigate if NAS would produce robust neural architecture by inheriting robustness from the teacher. In this paper, we propose Robust Neural Architecture Search by Cross-Layer Knowledge Distillation (RNAS-CL), a novel NAS algorithm that improves the robustness of NAS by learning from a robust teacher through cross-layer knowledge distillation. Unlike previous knowledge distillation methods that encourage close student/teacher output only in the last layer, RNAS-CL automatically searches for the best teacher layer to supervise each student layer. Experimental result evidences the effectiveness of RNAS-CL and shows that RNAS-CL produces small and robust neural architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google