Optimal Multi-Distribution Learning

要約

多分布学習 (MDL) は、$k$ の個別のデータ分布にわたる最悪の場合のリスクを最小限に抑える共有モデルを学習することを目的としており、堅牢性、公平性、マルチグループに対する進化する需要に対応する統合フレームワークとして登場しました。
データ効率の高い MDL を達成するには、学習プロセス全体を通じて、オンデマンド サンプリングとも呼ばれる適応サンプリングが必要です。
ただし、最適なサンプルの複雑さに関する最先端の上限と下限の間には、かなりのギャップが存在します。
Vapnik-Chervonenkis (VC) 次元 $d$ の仮説クラスに焦点を当て、$(d+k)/\varepsilon^ 程度のサンプル複雑さを持つ $varepsilon$ 最適ランダム化仮説を生成する新しいアルゴリズムを提案します。
2$ (対数係数を法とする)、最もよく知られている下限と一致します。
私たちのアルゴリズムのアイデアと理論は、Rademacher クラスに対応するためにさらに拡張されました。
提案されたアルゴリズムはオラクル効率が高く、経験的なリスク最小化オラクルのみを介して仮説クラスにアクセスします。
さらに、ランダム化の必要性を確立し、決定論的な仮説のみが許可される場合に大きなサンプルサイズの障壁があることを明らかにします。
これらの発見は、COLT 2023 で提示された 3 つの未解決の問題を首尾よく解決します (つまり、Awasthi et al., (2023、問題 1、3、および 4))。

要約(オリジナル)

Multi-distribution learning (MDL), which seeks to learn a shared model that minimizes the worst-case risk across $k$ distinct data distributions, has emerged as a unified framework in response to the evolving demand for robustness, fairness, multi-group collaboration, etc. Achieving data-efficient MDL necessitates adaptive sampling, also called on-demand sampling, throughout the learning process. However, there exist substantial gaps between the state-of-the-art upper and lower bounds on the optimal sample complexity. Focusing on a hypothesis class of Vapnik-Chervonenkis (VC) dimension $d$, we propose a novel algorithm that yields an $varepsilon$-optimal randomized hypothesis with a sample complexity on the order of $(d+k)/\varepsilon^2$ (modulo some logarithmic factor), matching the best-known lower bound. Our algorithmic ideas and theory have been further extended to accommodate Rademacher classes. The proposed algorithms are oracle-efficient, which access the hypothesis class solely through an empirical risk minimization oracle. Additionally, we establish the necessity of randomization, unveiling a large sample size barrier when only deterministic hypotheses are permitted. These findings successfully resolve three open problems presented in COLT 2023 (i.e., Awasthi et al., (2023, Problem 1, 3 and 4)).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google