Efficient Algorithms for Learning from Coarse Labels

要約

多くの学習問題では、きめ細かなラベル情報にアクセスできない場合があります。
たとえば、画像は、アノテーターの専門知識に応じて、ハスキー、犬、さらには動物としてラベル付けできます。
この作業では、これらの設定を形式化し、そのような粗いデータからの学習の問題を研究します。
セット $\mathcal{Z}$ から実際のラベルを観察する代わりに、$\mathcal{Z}$ のパーティション (またはパーティションの混合) に対応する粗いラベルを観察します。
私たちの主なアルゴリズムの結果は、粗いデータが十分に有益である場合、本質的に細かい粒度のラベルから学習可能な問題も効率的に学習できるということです。
粗いラベルのみが与えられた細かい粒度のラベルに対して統計クエリ (SQ) に回答するための一般的な削減を通じて、結果を取得します。
必要な粗ラベルの数は、粗化による情報の歪みと細かいラベル $|\mathcal{Z}|$ の数に多項式で依存します。
また、打ち切り統計と切り捨て統計の中心的な問題である、粗いデータからのガウス平均推定に焦点を当てた (無限に多くの) 実数値ラベルのケースも調査します。
パーティション内のセットが凸である場合に効率的なアルゴリズムを提供し、非常に単純な非凸セットでも問題が NP 困難であることを確立します。

要約(オリジナル)

For many learning problems one may not have access to fine grained label information; e.g., an image can be labeled as husky, dog, or even animal depending on the expertise of the annotator. In this work, we formalize these settings and study the problem of learning from such coarse data. Instead of observing the actual labels from a set $\mathcal{Z}$, we observe coarse labels corresponding to a partition of $\mathcal{Z}$ (or a mixture of partitions). Our main algorithmic result is that essentially any problem learnable from fine grained labels can also be learned efficiently when the coarse data are sufficiently informative. We obtain our result through a generic reduction for answering Statistical Queries (SQ) over fine grained labels given only coarse labels. The number of coarse labels required depends polynomially on the information distortion due to coarsening and the number of fine labels $|\mathcal{Z}|$. We also investigate the case of (infinitely many) real valued labels focusing on a central problem in censored and truncated statistics: Gaussian mean estimation from coarse data. We provide an efficient algorithm when the sets in the partition are convex and establish that the problem is NP-hard even for very simple non-convex sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google