Seasoning Model Soups for Robustness to Adversarial and Natural Distribution Shifts

要約

敵対的トレーニングは、指定された $p$ ノルムの $\ell_p$ ノルム有界摂動など、特定の脅威または敵対者に対して分類子を堅牢にするために広く使用されています。
ただし、複数の脅威に対して堅牢な分類器をトレーニングする既存の方法では、トレーニング中にすべての攻撃の知識が必要であり、目に見えない分布の変化に対して脆弱なままです。
この作業では、さまざまな $\ell_p$ ノルムの境界のある敵に対するロバスト性をスムーズにトレードオフする、敵対的にロバストなモデル スープ (つまり、パラメーターの線形結合) を取得する方法について説明します。
このようなスープにより、堅牢性のタイプとレベルを制御でき、すべての脅威を共同でトレーニングしなくても、すべての脅威に対する堅牢性を実現できることを示しています。
場合によっては、結果のモデル スープは、同じ敵に対して特化した構成モデルよりも、特定の $\ell_p$ ノルムの敵に対してよりロバストです。
最後に、いくつかの例から、敵対的に堅牢なモデル スープが分布の変化に適応するための実行可能なツールになり得ることを示します。

要約(オリジナル)

Adversarial training is widely used to make classifiers robust to a specific threat or adversary, such as $\ell_p$-norm bounded perturbations of a given $p$-norm. However, existing methods for training classifiers robust to multiple threats require knowledge of all attacks during training and remain vulnerable to unseen distribution shifts. In this work, we describe how to obtain adversarially-robust model soups (i.e., linear combinations of parameters) that smoothly trade-off robustness to different $\ell_p$-norm bounded adversaries. We demonstrate that such soups allow us to control the type and level of robustness, and can achieve robustness to all threats without jointly training on all of them. In some cases, the resulting model soups are more robust to a given $\ell_p$-norm adversary than the constituent model specialized against that same adversary. Finally, we show that adversarially-robust model soups can be a viable tool to adapt to distribution shifts from a few examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google