Robust Estimation under the Wasserstein Distance

要約

我々は、最適輸送（OT）理論に基づいた確率分布間の一般的な不一致尺度であるワッサーシュタイン距離の下でのロバストな分布推定の問題を研究します。
未知の分布 $\mu$ からの $n$ サンプル (そのうち $\varepsilon n$ が敵対的に破損している) が与えられた場合、最小限の Wasserstein 誤差で $\mu$ の推定値を求めます。
このタスクに対処するために、OT と堅牢な統計からの 2 つのフレームワーク、部分 OT (POT) と最小距離推定 (MDE) を利用します。
我々は、POT の新しい構造特性を証明し、それらを使用して、部分的なワッサーシュタイン距離下での MDE が多くの設定でミニマックス最適のロバスト推定リスクを達成することを示します。
その過程で、標準 OT の古典的なカントロビッチ デュアルに標準超過ペナルティを追加する、POT の新しいデュアル形式を導き出します。
人気の Wasserstein Generative Adversarial Network (WGAN) フレームワークは、Kantrovich 双対性を介して Wasserstein MDE を実装しているため、ペナルティ付き双対により、WGAN への基本的な変更を介して汚染されたデータセットを使用した大規模な生成モデリングが可能になります。
敵対的な汚職の影響を軽減する際の私たちのアプローチの有効性を実証する数値実験が提供されます。

要約(オリジナル)

We study the problem of robust distribution estimation under the Wasserstein distance, a popular discrepancy measure between probability distributions rooted in optimal transport (OT) theory. Given $n$ samples from an unknown distribution $\mu$, of which $\varepsilon n$ are adversarially corrupted, we seek an estimate for $\mu$ with minimal Wasserstein error. To address this task, we draw upon two frameworks from OT and robust statistics: partial OT (POT) and minimum distance estimation (MDE). We prove new structural properties for POT and use them to show that MDE under a partial Wasserstein distance achieves the minimax-optimal robust estimation risk in many settings. Along the way, we derive a novel dual form for POT that adds a sup-norm penalty to the classic Kantorovich dual for standard OT. Since the popular Wasserstein generative adversarial network (WGAN) framework implements Wasserstein MDE via Kantorovich duality, our penalized dual enables large-scale generative modeling with contaminated datasets via an elementary modification to WGAN. Numerical experiments demonstrating the efficacy of our approach in mitigating the impact of adversarial corruptions are provided.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google