Is Efficient PAC Learning Possible with an Oracle That Responds ‘Yes’ or ‘No’?

要約

経験的リスク最小化 (ERM) の原則は機械学習に大きな影響を与えており、ERM ベースの学習アルゴリズムのほぼ最適な理論的保証を実現するとともに、ディープ ラーニングにおける最近の多くの実証的成功を推進しています。
この論文では、特定のデータセットに対する経験的リスクを最小限に抑える仮説を計算する ERM を実行する能力が効率的な学習に必要かどうか、特に、学習可能性を実現できる ERM よりも弱いオラクルは存在するのか、という問題を調査します。
我々はこの質問に肯定的に答え、バイナリ分類の PAC 学習の実現可能な設定では、与えられたデータセットがクラス内の何らかの概念によって実現可能かどうかを示す単一ビットのみを返すオラクルを使用して概念クラスを学習できることを示しています。
私たちのアルゴリズムのサンプルの複雑さとオラクルの複雑さは、仮説クラスの VC 次元に多項式で依存するため、弱いオラクルの使用に対して支払わなければならないのは多項式の代償だけであることを示しています。
私たちの結果は、部分概念、マルチクラス、実数値学習設定だけでなく、オラクルをわずかに強化した不可知論的な学習設定にも拡張されています。
部分概念クラスの設定では、私たちの研究以前には、標準的な ERM オラクルであっても、オラクル効率の良いアルゴリズムは知られていませんでした。
したがって、我々の結果は、Alon らの疑問に対処しています。
(2021) この設定で効率的な学習を可能にするアルゴリズム原理があるかどうかを尋ねました。

要約(オリジナル)

The empirical risk minimization (ERM) principle has been highly impactful in machine learning, leading both to near-optimal theoretical guarantees for ERM-based learning algorithms as well as driving many of the recent empirical successes in deep learning. In this paper, we investigate the question of whether the ability to perform ERM, which computes a hypothesis minimizing empirical risk on a given dataset, is necessary for efficient learning: in particular, is there a weaker oracle than ERM which can nevertheless enable learnability? We answer this question affirmatively, showing that in the realizable setting of PAC learning for binary classification, a concept class can be learned using an oracle which only returns a single bit indicating whether a given dataset is realizable by some concept in the class. The sample complexity and oracle complexity of our algorithm depend polynomially on the VC dimension of the hypothesis class, thus showing that there is only a polynomial price to pay for use of our weaker oracle. Our results extend to the agnostic learning setting with a slight strengthening of the oracle, as well as to the partial concept, multiclass and real-valued learning settings. In the setting of partial concept classes, prior to our work no oracle-efficient algorithms were known, even with a standard ERM oracle. Thus, our results address a question of Alon et al. (2021) who asked whether there are algorithmic principles which enable efficient learnability in this setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google