On Transfer of Adversarial Robustness from Pretraining to Downstream Tasks

要約

大規模なトレーニング計画が普及するにつれて、下流のタスクに事前トレーニングされたモデルを使用することが機械学習において一般的に行われるようになりました。
事前トレーニングは実際にモデルのパフォーマンスを向上させることが示されていますが、事前トレーニングから下流のタスクへのロバスト性特性の伝達についてはまだ十分に理解されていません。
この研究では、事前トレーニングに使用されるプロトコルに関係なく、下流のタスクに対する線形予測子の堅牢性が、その基礎となる表現の堅牢性によって制約される可能性があることを実証します。
我々は、(i) 下流のタスクとは無関係に保持される損失の限界、および (ii) 特にロバストな分類の基準を証明します。
理論的な結果を実際のアプリケーションで検証し、ダウンストリームの堅牢性の期待値を調整するためにその結果をどのように使用できるか、また、その結果が最適な転移学習にいつ役立つかを示します。
総合すると、私たちの結果は、信頼性の高い適応後のパフォーマンスのための表現関数の要件を特徴付けるための最初のステップを提供します。

要約(オリジナル)

As large-scale training regimes have gained popularity, the use of pretrained models for downstream tasks has become common practice in machine learning. While pretraining has been shown to enhance the performance of models in practice, the transfer of robustness properties from pretraining to downstream tasks remains poorly understood. In this study, we demonstrate that the robustness of a linear predictor on downstream tasks can be constrained by the robustness of its underlying representation, regardless of the protocol used for pretraining. We prove (i) a bound on the loss that holds independent of any downstream task, as well as (ii) a criterion for robust classification in particular. We validate our theoretical results in practical applications, show how our results can be used for calibrating expectations of downstream robustness, and when our results are useful for optimal transfer learning. Taken together, our results offer an initial step towards characterizing the requirements of the representation function for reliable post-adaptation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google