Optimal Learners for Realizable Regression: PAC Learning and Online Learning

要約

この研究では、PAC 学習設定とオンライン学習設定の両方で実現可能な回帰の統計的複雑さを特徴付けることを目的としています。
以前の研究では、PAC の学習可能性に対する脂肪粉砕次元の有限性の十分性と、スケーリングされた Natarajan 次元の有限性の必要性が確立されていましたが、Simon の研究 (SICOMP ’97) 以来、より完全な特性評価に向けた進歩はほとんどありませんでした。
この目的を達成するために、最初に実現可能な回帰に対するミニマックス インスタンス最適学習器を導入し、実数値予測子のどのクラスが学習可能であるかを定性的および定量的に特徴付ける新しい次元を提案します。
次に、実現可能な設定における ERM の学習可能性を特徴付けるグラフ次元に関連する組み合わせ次元を特定します。
最後に、DS 次元に関連する組み合わせ次元に基づいて学習可能性の必要条件を確立し、この文脈でも十分である可能性があると推測します。
さらに、オンライン学習のコンテキストでは、定数係数までのミニマックス インスタンスの最適な累積損失を特徴付けるディメンションを提供し、実現可能な回帰に最適なオンライン学習者を設計することで、STOC ’22 で Daskalakis と Golowich によって提起された未解決の疑問を解決します。

要約(オリジナル)

In this work, we aim to characterize the statistical complexity of realizable regression both in the PAC learning setting and the online learning setting. Previous work had established the sufficiency of finiteness of the fat shattering dimension for PAC learnability and the necessity of finiteness of the scaled Natarajan dimension, but little progress had been made towards a more complete characterization since the work of Simon (SICOMP ’97). To this end, we first introduce a minimax instance optimal learner for realizable regression and propose a novel dimension that both qualitatively and quantitatively characterizes which classes of real-valued predictors are learnable. We then identify a combinatorial dimension related to the Graph dimension that characterizes ERM learnability in the realizable setting. Finally, we establish a necessary condition for learnability based on a combinatorial dimension related to the DS dimension, and conjecture that it may also be sufficient in this context. Additionally, in the context of online learning we provide a dimension that characterizes the minimax instance optimal cumulative loss up to a constant factor and design an optimal online learner for realizable regression, thus resolving an open question raised by Daskalakis and Golowich in STOC ’22.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google