Nearly Optimal Sample Complexity for Learning with Label Proportions

要約

ラベルの割合（LLP）からの学習を調査します。これは、トレーニングセットの例がバッグにグループ化され、各バッグの集計ラベル値のみが利用可能な部分情報設定です。
部分的な観察性にもかかわらず、目標は、個々の例のレベルでまだ少し後悔することです。
平方損失下でのLLPのサンプルの複雑さについて結果を示し、サンプルの複雑さが本質的に最適であることを示しています。
アルゴリズムの観点から、経験的リスク最小化の慎重に設計されたバリアントと、アドホック分散削減技術と組み合わせた確率勾配降下アルゴリズムに依存しています。
一方では、私たちの理論的結果は、LLPの既存の文献、特にサンプルの複雑さがバッグのサイズに依存する方法で重要な方法で改善します。
一方、いくつかのデータセットでアルゴリズムソリューションを検証し、最近のベースラインに対する経験的パフォーマンスの改善（より少ないサンプルの精度）を示しています。

要約(オリジナル)

We investigate Learning from Label Proportions (LLP), a partial information setting where examples in a training set are grouped into bags, and only aggregate label values in each bag are available. Despite the partial observability, the goal is still to achieve small regret at the level of individual examples. We give results on the sample complexity of LLP under square loss, showing that our sample complexity is essentially optimal. From an algorithmic viewpoint, we rely on carefully designed variants of Empirical Risk Minimization, and Stochastic Gradient Descent algorithms, combined with ad hoc variance reduction techniques. On one hand, our theoretical results improve in important ways on the existing literature on LLP, specifically in the way the sample complexity depends on the bag size. On the other hand, we validate our algorithmic solutions on several datasets, demonstrating improved empirical performance (better accuracy for less samples) against recent baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google