Learning from Label Proportions: Bootstrapping Supervised Learners via Belief Propagation

要約

ラベル比率からの学習 (LLP) は、トレーニング中にバッグと呼ばれるインスタンスのグループに対して集約レベルのラベルのみが利用できる学習問題であり、目的は、テスト データのインスタンス レベルで最高のパフォーマンスを得ることであります。
この設定は、プライバシーへの配慮により、広告や医療などの分野で発生します。
我々は、この問題に対して 2 つの主要なステップを繰り返し実行する新しいアルゴリズム フレームワークを提案します。
すべての反復の最初のステップ (擬似ラベル付け) では、a) 同様の共変量を持つインスタンスには同様のラベルが必要であるという制約による共変量情報、および b) バッグ レベルの集約ラベルを組み込む、バイナリ インスタンス ラベルに対するギブス分布を定義します。
次に、信念伝播 (BP) を使用してギブス分布を周辺化し、擬似ラベルを取得します。
2 番目のステップ (埋め込みの改良) では、疑似ラベルを使用して、より良い埋め込みをもたらす学習者を監視します。
さらに、2 番目のステップの埋め込みを次の反復の新しい共変量として使用して、2 つのステップを再度反復します。
最後の反復では、擬似ラベルを使用して分類器がトレーニングされます。
私たちのアルゴリズムは、さまざまなデータセット タイプ (表形式と画像) での LLP 二項分類問題に関して、いくつかの SOTA ベースライン (最大 15%) に対して大きな向上を示しています。
これらの改善は、バッグ サイズが大きくても、サンプルが 100 万個であっても、信念伝播による標準的な教師あり学習を上回る最小限の計算オーバーヘッドで達成されます。

要約(オリジナル)

Learning from Label Proportions (LLP) is a learning problem where only aggregate level labels are available for groups of instances, called bags, during training, and the aim is to get the best performance at the instance-level on the test data. This setting arises in domains like advertising and medicine due to privacy considerations. We propose a novel algorithmic framework for this problem that iteratively performs two main steps. For the first step (Pseudo Labeling) in every iteration, we define a Gibbs distribution over binary instance labels that incorporates a) covariate information through the constraint that instances with similar covariates should have similar labels and b) the bag level aggregated label. We then use Belief Propagation (BP) to marginalize the Gibbs distribution to obtain pseudo labels. In the second step (Embedding Refinement), we use the pseudo labels to provide supervision for a learner that yields a better embedding. Further, we iterate on the two steps again by using the second step’s embeddings as new covariates for the next iteration. In the final iteration, a classifier is trained using the pseudo labels. Our algorithm displays strong gains against several SOTA baselines (up to 15%) for the LLP Binary Classification problem on various dataset types – tabular and Image. We achieve these improvements with minimal computational overhead above standard supervised learning due to Belief Propagation, for large bag sizes, even for a million samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google