Reliable Learning for Test-time Attacks and Distribution Shift

要約

タイトル：テスト時攻撃と分布シフトに対する信頼性のある学習

要約：
– 機械学習アルゴリズムは、最も注意深く収集されたトレーニングデータでも正確に捉えられない環境でよく使用されています。その理由として、’攻撃的’なテスト時攻撃の可能性があるため、または’自然な’分布シフトのためです。
– テスト時攻撃の場合、新しい強固な信頼性保証を導入して分析しました。これにより、学習者は予測と信頼半径$\eta$を出力する必要があります。これは、その予測が出力された時点からテストポイントを遠ざけていない限り、正しい予測が保証されることを意味します。
– 任意のテストポイントに対して最適な信頼半径を常に出力する最適な学習者を提供し、信頼性のある領域、すなわちある信頼半径が得られるポイントのセットを特徴付けることができます。
– さらに、テストポイントがトレーニング分布Pと異なる分布Qから来る分布シフト時の信頼性のある学習も分析しています。
– 線形分離器の場合、ほぼ対数凸およびs凸分布の下で、滑らかな境界分類器の場合も、信頼性のある領域の確率質量を束縛しました。

要約(オリジナル)

Machine learning algorithms are often used in environments which are not captured accurately even by the most carefully obtained training data, either due to the possibility of `adversarial’ test-time attacks, or on account of `natural’ distribution shift. For test-time attacks, we introduce and analyze a novel robust reliability guarantee, which requires a learner to output predictions along with a reliability radius $\eta$, with the meaning that its prediction is guaranteed to be correct as long as the adversary has not perturbed the test point farther than a distance $\eta$. We provide learners that are optimal in the sense that they always output the best possible reliability radius on any test point, and we characterize the reliable region, i.e. the set of points where a given reliability radius is attainable. We additionally analyze reliable learners under distribution shift, where the test points may come from an arbitrary distribution Q different from the training distribution P. For both cases, we bound the probability mass of the reliable region for several interesting examples, for linear separators under nearly log-concave and s-concave distributions, as well as for smooth boundary classifiers under smooth probability distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI