Unlocking Unlabeled Data: Ensemble Learning with the Hui- Walter Paradigm for Performance Estimation in Online and Static Settings

要約

機械学習と統計モデリングの領域では、実務者は多くの場合、評価とトレーニングのためにアクセス可能な静的なラベル付きデータを前提として作業します。
ただし、データがプライベートであったり、暗号化されていたり、測定が困難であったり、ラベルがついていなかったりする場合、この仮定は現実から逸脱することがよくあります。
この論文では、疫学や医学で伝統的に適用されてきた手法であるホイ・ウォルターのパラダイムを機械学習の分野に適応させることで、このギャップを埋めます。
このアプローチにより、グランド トゥルースが利用できないシナリオで、偽陽性率、偽陰性率、事前分布などの主要なパフォーマンス メトリクスを推定できるようになります。
私たちは、オンライン データを処理するためのこのパラダイムをさらに拡張し、動的なデータ環境の新たな可能性を開きます。
私たちの方法論には、データを潜在クラスに分割して複数のデータ母集団 (自然母集団が利用できない場合) をシミュレートし、モデルを独立してトレーニングして複数のテストを再現することが含まれます。
アンサンブル カテゴライザーと複数の母集団にわたるバイナリ結果をクロス集計することで、ギブズ サンプリングを通じて未知のパラメーターを推定できるため、グラウンド トゥルース データやラベル付きデータの必要性がなくなります。
このペーパーでは、動的で不確実なデータ条件下で正確なモデル評価を可能にすることで、機械学習の実践を変革する私たちの方法論の可能性を紹介します。

要約(オリジナル)

In the realm of machine learning and statistical modeling, practitioners often work under the assumption of accessible, static, labeled data for evaluation and training. However, this assumption often deviates from reality where data may be private, encrypted, difficult- to-measure, or unlabeled. In this paper, we bridge this gap by adapting the Hui-Walter paradigm, a method traditionally applied in epidemiology and medicine, to the field of machine learning. This approach enables us to estimate key performance metrics such as false positive rate, false negative rate, and priors in scenarios where no ground truth is available. We further extend this paradigm for handling online data, opening up new possibilities for dynamic data environments. Our methodology involves partitioning data into latent classes to simulate multiple data populations (if natural populations are unavailable) and independently training models to replicate multiple tests. By cross-tabulating binary outcomes across ensemble categorizers and multiple populations, we are able to estimate unknown parameters through Gibbs sampling, eliminating the need for ground-truth or labeled data. This paper showcases the potential of our methodology to transform machine learning practices by allowing for accurate model assessment under dynamic and uncertain data conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google