Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls

要約

経験的なリスクの最小化では、多くの場合、テスト データ内の敵対的な攻撃に対する堅牢性を提供できず、サンプル外のパフォーマンスが低下します。
したがって、敵対的ロバスト最適化 (ARO) は、そのような攻撃を回避するモデルを取得するための事実上の標準として浮上しています。
ただし、これらのモデルは敵対的な攻撃に対しては堅牢ですが、過剰適合によって深刻な影響を受ける傾向があります。
ロジスティック回帰のこの問題に対処するために、ARO に相当する Wasserstein 分布的にロバスト (DR) を研究し、この問題が扱いやすい再定式化を可能にすることを示します。
さらに、利用可能な場合は常に、同一ではないが関連するグラウンド トゥルースから独立してサンプリングされたインスタンスを使用して、補助データセット (例: 合成データ、外部データ、またはドメイン外データ) を利用することで、この問題の保守主義を軽減するフレームワークを開発します。
特に、DR 問題の曖昧性セットを、補助データセットを使用して構築された別の Wasserstein 曖昧性セットと交差させます。
私たちは、根底にある最適化問題の特性を分析し、効率的な解決アルゴリズムを開発し、提案された手法が現実世界のデータセットに対するベンチマーク アプローチよりも常に優れたパフォーマンスを発揮することを実証します。

要約(オリジナル)

Empirical risk minimization often fails to provide robustness against adversarial attacks in test data, causing poor out-of-sample performance. Adversarially robust optimization (ARO) has thus emerged as the de facto standard for obtaining models that hedge against such attacks. However, while these models are robust against adversarial attacks, they tend to suffer severely from overfitting. To address this issue for logistic regression, we study the Wasserstein distributionally robust (DR) counterpart of ARO and show that this problem admits a tractable reformulation. Furthermore, we develop a framework to reduce the conservatism of this problem by utilizing an auxiliary dataset (e.g., synthetic, external, or out-of-domain data), whenever available, with instances independently sampled from a nonidentical but related ground truth. In particular, we intersect the ambiguity set of the DR problem with another Wasserstein ambiguity set that is built using the auxiliary dataset. We analyze the properties of the underlying optimization problem, develop efficient solution algorithms, and demonstrate that the proposed method consistently outperforms benchmark approaches on real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google