Streaming algorithms for evaluating noisy judges on unlabeled data — binary classification

要約

ラベルなしデータに対するノイズのあるバイナリ分類器の評価は、ストリーミング タスクとして扱われます。アンサンブルによる決定のデータ スケッチが与えられると、ラベルの真の普及率とラベルに対する各分類器の精度が推定されます。
これを行うために、2 つの完全に代数的な評価器が構築されています。
どちらも、分類器が独立してエラーを起こすという前提に基づいています。
1 つ目は多数決に基づいています。
2 番目の論文の主な貢献は、正しいことが保証されています。
しかし、分類器が特定のテストに依存していないことをどのようにして確認できるのでしょうか?
このプリンシパルとエージェントの監視のパラドックスは、独立した評価者の失敗を利用して賢明な推定値を返すことによって改善されます。
ほぼ誤差に依存しないトリオの検索は、相関が高すぎる評価アンサンブルを拒否する代数故障モードを使用することにより、\texttt{アダルト}、\texttt{マッシュルーム}、および \texttt{two-norm} データセットに対して経験的に実行されます。
検索は、真の値点を含む評価空間内に曲面を構築することによって洗練されます。
任意に相関した分類子の代数により、相関変数を含まない多項式サブセットの選択が可能になります。
候補評価アンサンブルは、そのデータ スケッチが作成したサーフェスから離れた独立した推定値を生成する場合、拒否されます。
生き残ったアンサンブルによって生成される結果は、場合によっては 1\% 程度になることがあります。
しかし、たとえ少量の相関関係であっても処理することは依然として課題です。
独立性が仮定されているが、実際には分類器がわずかに相関している場合に生成される推定値のテイラー展開は、独立した評価器に代数的な「盲点」がどのように存在するかを明らかにするのに役立ちます。

要約(オリジナル)

The evaluation of noisy binary classifiers on unlabeled data is treated as a streaming task: given a data sketch of the decisions by an ensemble, estimate the true prevalence of the labels as well as each classifier’s accuracy on them. Two fully algebraic evaluators are constructed to do this. Both are based on the assumption that the classifiers make independent errors. The first is based on majority voting. The second, the main contribution of the paper, is guaranteed to be correct. But how do we know the classifiers are independent on any given test? This principal/agent monitoring paradox is ameliorated by exploiting the failures of the independent evaluator to return sensible estimates. A search for nearly error independent trios is empirically carried out on the \texttt{adult}, \texttt{mushroom}, and \texttt{two-norm} datasets by using the algebraic failure modes to reject evaluation ensembles as too correlated. The searches are refined by constructing a surface in evaluation space that contains the true value point. The algebra of arbitrarily correlated classifiers permits the selection of a polynomial subset free of any correlation variables. Candidate evaluation ensembles are rejected if their data sketches produce independent estimates too far from the constructed surface. The results produced by the surviving ensembles can sometimes be as good as 1\%. But handling even small amounts of correlation remains a challenge. A Taylor expansion of the estimates produced when independence is assumed but the classifiers are, in fact, slightly correlated helps clarify how the independent evaluator has algebraic `blind spots’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google