Robust Distribution Learning with Local and Global Adversarial Corruptions

要約

私たちは、分布 $P$ からのサンプルの $\varepsilon$ 部分が任意に変更され (*グローバル* 破損)、残りの摂動が $\rho$ (*ローカル*
汚職)。
このような破損したサンプル $n$ へのアクセスが与えられた場合、ワッサーシュタイン距離 $\mathsf{W}_1(\hat{P}_n,P)$ を最小化する計算効率の高い推定器 $\hat{P}_n$ を求めます。
実際、すべての直交投影 $\Pi \in \mathbb{ に対して $\mathsf{W}_1(\Pi_\# \hat{P}_n, \Pi_\# P)$ を最小化するというきめの細かいタスクに取り組みます。
R}^{d \times d}$、$\mathrm{rank}(\Pi) = k$ によるパフォーマンス スケーリング。
これにより、平均推定値 ($k=1$)、分布推定値 ($k=d$)、およびこれら 2 つの極端な値の間を補間する設定を同時に考慮することができます。
このタスクの最適な母集団制限リスクを特徴付け、誤差が $\sqrt{\varepsilon k} + \rho + d^{O(1)}\tilde{O}( によって制限される効率的な有限標本アルゴリズムを開発します。
n^{-1/k})$ は、$P$ が次数 $2+\delta$ の境界モーメントを持ち、定数 $\delta > 0$ の場合です。
有界共分散を持つデータ分布の場合、有限標本境界は、大きな標本サイズに最適な母集団レベルのミニマックスに一致します。
私たちの効率的な手順は、理想的ではあるが扱いにくい 2-Wasserstein 射影推定器の新しいトレース ノルム近似に依存しています。
私たちはこのアルゴリズムをロバストな確率的最適化に適用し、その過程で、Wasserstein 分布ロバストな最適化における次元性の呪いを克服するための新しい方法を発見します。

要約(オリジナル)

We consider learning in an adversarial environment, where an $\varepsilon$-fraction of samples from a distribution $P$ are arbitrarily modified (*global* corruptions) and the remaining perturbations have average magnitude bounded by $\rho$ (*local* corruptions). Given access to $n$ such corrupted samples, we seek a computationally efficient estimator $\hat{P}_n$ that minimizes the Wasserstein distance $\mathsf{W}_1(\hat{P}_n,P)$. In fact, we attack the fine-grained task of minimizing $\mathsf{W}_1(\Pi_\# \hat{P}_n, \Pi_\# P)$ for all orthogonal projections $\Pi \in \mathbb{R}^{d \times d}$, with performance scaling with $\mathrm{rank}(\Pi) = k$. This allows us to account simultaneously for mean estimation ($k=1$), distribution estimation ($k=d$), as well as the settings interpolating between these two extremes. We characterize the optimal population-limit risk for this task and then develop an efficient finite-sample algorithm with error bounded by $\sqrt{\varepsilon k} + \rho + d^{O(1)}\tilde{O}(n^{-1/k})$ when $P$ has bounded moments of order $2+\delta$, for constant $\delta > 0$. For data distributions with bounded covariance, our finite-sample bounds match the minimax population-level optimum for large sample sizes. Our efficient procedure relies on a novel trace norm approximation of an ideal yet intractable 2-Wasserstein projection estimator. We apply this algorithm to robust stochastic optimization, and, in the process, uncover a new method for overcoming the curse of dimensionality in Wasserstein distributionally robust optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google