On-Demand Sampling: Learning Optimally from Multiple Distributions

要約

堅牢性、公平性、社会福祉、マルチエージェントのトレードオフなどの社会的および現実世界の考慮事項により、協調的、グループ分散的に堅牢、公正な連合学習などのマルチ分散学習パラダイムが生まれました。
これらの設定のそれぞれで、学習者は、できるだけ少ないサンプルを使用しながら、事前定義された $n$ 分布のセットで最悪の場合の損失を最小限に抑えようとします。
この論文では、これらの学習パラダイムの最適なサンプルの複雑さを確立し、このサンプルの複雑さを満たすアルゴリズムを提供します。
重要なことに、私たちのサンプルの複雑さの境界は、$n \log(n) / \epsilon^2$ の加法係数だけ、単一の分布を学習するサンプルの複雑さの境界を超えています。
これらは、毛利らによる不可知論的連合学習の最もよく知られているサンプルの複雑さを改善します。
$n$ の乗法係数によって、Nguyen と Zakynthinou による共同学習のサンプルの複雑さを乗法係数 $\log n / \epsilon^3$ で計算し、佐川らのグループ DRO 目的の最初のサンプルの複雑さの境界を与えます。
.
最適なサンプルの複雑さを達成するために、当社のアルゴリズムはオンデマンドで分布からサンプリングして学習することを学習します。
当社のアルゴリズム設計と分析は、確率的ゼロサム ゲームを解くための確率的最適化手法の拡張によって可能になります。
特に、プレーヤーが安価な 1 回限りのサンプルにアクセスするか、より高価な再利用可能なサンプルにアクセスするかをトレードオフできる、確率的ミラー降下法 (Stochastic Mirror Descent) のバリアントを提供します。

要約(オリジナル)

Social and real-world considerations such as robustness, fairness, social welfare and multi-agent tradeoffs have given rise to multi-distribution learning paradigms, such as collaborative, group distributionally robust, and fair federated learning. In each of these settings, a learner seeks to minimize its worst-case loss over a set of $n$ predefined distributions, while using as few samples as possible. In this paper, we establish the optimal sample complexity of these learning paradigms and give algorithms that meet this sample complexity. Importantly, our sample complexity bounds exceed that of the sample complexity of learning a single distribution only by an additive factor of $n \log(n) / \epsilon^2$. These improve upon the best known sample complexity of agnostic federated learning by Mohri et al. by a multiplicative factor of $n$, the sample complexity of collaborative learning by Nguyen and Zakynthinou by a multiplicative factor $\log n / \epsilon^3$, and give the first sample complexity bounds for the group DRO objective of Sagawa et al. To achieve optimal sample complexity, our algorithms learn to sample and learn from distributions on demand. Our algorithm design and analysis is enabled by our extensions of stochastic optimization techniques for solving stochastic zero-sum games. In particular, we contribute variants of Stochastic Mirror Descent that can trade off between players’ access to cheap one-off samples or more expensive reusable ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google