Minimax Excess Risk of First-Order Methods for Statistical Learning with Data-Dependent Oracles

要約

この論文では、私たちの目的は、教師あり学習、転移学習、ロバスト学習、フェデレーション学習など、異なるものの関連する複数のシナリオにおける統計学習の一次手法の一般化機能を分析することです。
これを行うために、データ依存のオラクルによって提供される部分的な観測を通じて勾配にアクセスする場合の、強く凸で滑らかな統計学習の最小超過リスクに明確な上限と下限を提供します。
この新しいクラスのオラクルは、任意のデータ分布で勾配をクエリできるため、トレーニング データの分布がターゲット (またはテスト) の分布と一致しないシナリオに適しています。
特に、上限と下限は勾配推定器によって達成可能な最小の平均二乗誤差に比例するため、パラメーター推定に関する広範な文献を使用して、前述のシナリオで複数の鋭い境界を簡単に導き出すことができます。

要約(オリジナル)

In this paper, our aim is to analyse the generalization capabilities of first-order methods for statistical learning in multiple, different yet related, scenarios including supervised learning, transfer learning, robust learning and federated learning. To do so, we provide sharp upper and lower bounds for the minimax excess risk of strongly convex and smooth statistical learning when the gradient is accessed through partial observations given by a data-dependent oracle. This novel class of oracles can query the gradient with any given data distribution, and is thus well suited to scenarios in which the training data distribution does not match the target (or test) distribution. In particular, our upper and lower bounds are proportional to the smallest mean square error achievable by gradient estimators, thus allowing us to easily derive multiple sharp bounds in the aforementioned scenarios using the extensive literature on parameter estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google