Sample-Optimal Agnostic Boosting with Unlabeled Data

要約

ブーストは、不正確な経験則から正確な学習アルゴリズムを構築するための実用的で実証的に効果的なフレームワークを提供します。
これは、直接的な経験的リスク最小化（ERM）が効率的に実装できない可能性がある設定へのサンプル効率の高い学習の約束を拡張します。
実現可能な設定では、ブーストは、サンプルの効率を損なうことなく、この計算猶予を提供することが知られています。
ただし、不可知論的な場合、既存のブーストアルゴリズムは、最適なサンプルの複雑さを達成することはできません。
このペーパーでは、予期せぬ以前に未開拓の改善の道を強調しています：ラベルのないサンプル。
多項式的に多くの追加の非標識サンプルを考えると、ERMのサンプルの複雑さに一致する計算効率的なアゴーストブーストアルゴリズムを設計します。
実際、必要なサンプルの総数は、包括的でラベル付けされていないサンプルの総数が、最も有名な不可知論的ブーストアルゴリズムのそれ以上のものではないことを示しています。したがって、この結果は決して悪化しませんが、これらの割合を消滅させる必要がありますが、成功するためにはアルゴリズムをラベル付けする必要があります。
これは、不可知論的ブーストの学習理論的アプリケーションにとって特に偶然です。これは、分布固有の設定で行われることがよくあり、非標識サンプルを無料で利用できることがよくあります。
この結果の他のアプリケーションは、強化学習において詳細に説明します。

要約(オリジナル)

Boosting provides a practical and provably effective framework for constructing accurate learning algorithms from inaccurate rules of thumb. It extends the promise of sample-efficient learning to settings where direct Empirical Risk Minimization (ERM) may not be implementable efficiently. In the realizable setting, boosting is known to offer this computational reprieve without compromising on sample efficiency. However, in the agnostic case, existing boosting algorithms fall short of achieving the optimal sample complexity. This paper highlights an unexpected and previously unexplored avenue of improvement: unlabeled samples. We design a computationally efficient agnostic boosting algorithm that matches the sample complexity of ERM, given polynomially many additional unlabeled samples. In fact, we show that the total number of samples needed, unlabeled and labeled inclusive, is never more than that for the best known agnostic boosting algorithm — so this result is never worse — while only a vanishing fraction of these need to be labeled for the algorithm to succeed. This is particularly fortuitous for learning-theoretic applications of agnostic boosting, which often take place in the distribution-specific setting, where unlabeled samples can be availed for free. We detail other applications of this result in reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google