Hyper-parameter Tuning for Adversarially Robust Models

要約

この研究は、堅牢な (つまり、敵対的にトレーニングされた) モデルのハイパーパラメーター調整 (HPT) の問題に焦点を当てており、堅牢なモデルの HPT プロセス中に生じる新たな課題と機会に光を当てています。
この目的を達成するために、私たちは 3 つの一般的なディープ モデルに基づいて大規模な実験研究を実施し、9 つの (離散化された) HP、2 つの忠実度の次元、および 2 つの攻撃境界を徹底的に調査し、合計 19,208 の構成 (50,000 GPU 時間に相当) を調査しました。
）。
この研究を通じて、標準トレーニングと敵対トレーニング中に使用される HP を個別に調整する必要があるため、HPT 問題の複雑さは敵対設定ではさらに悪化することを示しました。これは成功しています (つまり、両方のフェーズで異なる HP 設定を採用しています)。
クリーンな入力と敵対的な入力のエラーをそれぞれ最大 80% と最大 43% 削減できます。
一方で、堅牢なモデルの HPT コストを削減する新たな機会も特定します。
具体的には、安価な敵対的トレーニング方法を活用して、最先端の方法を使用して、安価でありながら相関性の高い、達成可能な品質の推定値を取得することを提案します。
この新しいアイデアを最新のマルチフィデリティ オプティマイザー (taKG) と組み合わせて活用することで、HPT プロセスの効率が最大 2.1 倍向上できることを示します。

要約(オリジナル)

This work focuses on the problem of hyper-parameter tuning (HPT) for robust (i.e., adversarially trained) models, shedding light on the new challenges and opportunities arising during the HPT process for robust models. To this end, we conduct an extensive experimental study based on 3 popular deep models, in which we explore exhaustively 9 (discretized) HPs, 2 fidelity dimensions, and 2 attack bounds, for a total of 19208 configurations (corresponding to 50 thousand GPU hours). Through this study, we show that the complexity of the HPT problem is further exacerbated in adversarial settings due to the need to independently tune the HPs used during standard and adversarial training: succeeding in doing so (i.e., adopting different HP settings in both phases) can lead to a reduction of up to 80% and 43% of the error for clean and adversarial inputs, respectively. On the other hand, we also identify new opportunities to reduce the cost of HPT for robust models. Specifically, we propose to leverage cheap adversarial training methods to obtain inexpensive, yet highly correlated, estimations of the quality achievable using state-of-the-art methods. We show that, by exploiting this novel idea in conjunction with a recent multi-fidelity optimizer (taKG), the efficiency of the HPT process can be enhanced by up to 2.1x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google