Approximately Bayes-Optimal Pseudo Label Selection

要約

自己トレーニングによる半教師あり学習は、擬似ラベル選択 (PLS) に大きく依存します。
多くの場合、選択はラベル付きデータに対する初期モデルの適合に依存します。
したがって、確信バイアスと呼ばれることが多い、自信過剰だが誤った予測を持つインスタンスを選択することによって、初期の過学習が最終モデルに伝播する可能性があります。
このペーパーでは、この問題を軽減することを目的とした PLS のベイジアン フレームワークである BPLS を紹介します。
その核心となるのは、ラベルを付けるインスタンスを選択するための基準、つまり擬似サンプルの事後予測の分析的近似です。
この選択基準は、擬似サンプルの事後予測のベイズ最適性を証明することによって導出されます。
分析的に基準を近似することで、計算上のハードルをさらに克服します。
周辺尤度との関係により、ラプラス法とガウス積分に基づいた近似を導き出すことができます。
私たちは、シミュレートされたデータと実世界のデータに対するパラメトリック一般化線形モデルおよびノンパラメトリック一般化加法モデルの BPLS を経験的に評価します。
過剰適合しやすい高次元データに直面した場合、BPLS は従来の PLS 手法よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Semi-supervised learning by self-training heavily relies on pseudo-label selection (PLS). The selection often depends on the initial model fit on labeled data. Early overfitting might thus be propagated to the final model by selecting instances with overconfident but erroneous predictions, often referred to as confirmation bias. This paper introduces BPLS, a Bayesian framework for PLS that aims to mitigate this issue. At its core lies a criterion for selecting instances to label: an analytical approximation of the posterior predictive of pseudo-samples. We derive this selection criterion by proving Bayes optimality of the posterior predictive of pseudo-samples. We further overcome computational hurdles by approximating the criterion analytically. Its relation to the marginal likelihood allows us to come up with an approximation based on Laplace’s method and the Gaussian integral. We empirically assess BPLS for parametric generalized linear and non-parametric generalized additive models on simulated and real-world data. When faced with high-dimensional data prone to overfitting, BPLS outperforms traditional PLS methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google