Hyper-parameter Tuning for Adversarially Robust Models

要約

タイトル： Adversarially Robust Modelsのためのハイパーパラメーターチューニング

要約：この研究では、Adversarially Robust Modelsのためのハイパーパラメーターチューニング（HPT）の問題に焦点を当て、i）どの追加のHPをチューニングすることが重要かを確立し、ii）ロバストモデルのHPTのコストを削減することを目的としています。最近の3つのモデルを用いた広範な実験に基づいて、私たちは、HPT問題の複雑さが、通常のトレーニングとアドバーサルトレーニングをバランスさせるHPの追加調整と、通常のトレーニングとアドバーサルトレーニングのフェーズのHPの独立した調整の必要性によって、アドバーサルな環境で悪化することがわかりました。助かることに、私たちは、HPTプロセスの効率を大幅に向上させるために、taKGという最近のマルチフィデリティオプティマイザとの新しいアイデアを利用することを提案します。

要約(オリジナル)

This work focuses on the problem of hyper-parameter tuning (HPT) for robust (i.e., adversarially trained) models, with the twofold goal of i) establishing which additional HPs are relevant to tune in adversarial settings, and ii) reducing the cost of HPT for robust models. We pursue the first goal via an extensive experimental study based on 3 recent models widely adopted in the prior literature on adversarial robustness. Our findings show that the complexity of the HPT problem, already notoriously expensive, is exacerbated in adversarial settings due to two main reasons: i) the need of tuning additional HPs which balance standard and adversarial training; ii) the need of tuning the HPs of the standard and adversarial training phases independently. Fortunately, we also identify new opportunities to reduce the cost of HPT for robust models. Specifically, we propose to leverage cheap adversarial training methods to obtain inexpensive, yet highly correlated, estimations of the quality achievable using state-of-the-art methods (PGD). We show that, by exploiting this novel idea in conjunction with a recent multi-fidelity optimizer (taKG), the efficiency of the HPT process can be significantly enhanced.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI