Approximate Bayes Optimal Pseudo-Label Selection

要約

自己訓練による半教師あり学習は、疑似ラベル選択 (PLS) に大きく依存しています。
選択は、多くの場合、ラベル付きデータの初期モデル フィットに依存します。
したがって、確証バイアスと呼ばれることが多い、過信しているが誤った予測を持つインスタンスを選択することにより、初期のオーバーフィッティングが最終モデルに伝播する可能性があります。
このホワイト ペーパーでは、この問題を軽減することを目的とした PLS のベイジアン フレームワークである BPLS を紹介します。
その核心には、ラベル付けするインスタンスを選択するための基準があります。これは、疑似サンプルの事後予測の分析的近似です。
疑似サンプルの事後予測のベイズ最適性を証明することにより、この選択基準を導き出します。
分析的に基準を近似することにより、計算上のハードルをさらに克服します。
限界尤度との関係により、ラプラス法とガウス積分に基づいた近似を導き出すことができます。
シミュレートされたデータと実世界のデータで、パラメトリック一般化線形およびノンパラメトリック一般化加法モデルの BPLS を経験的に評価します。
過剰適合しがちな高次元データに直面した場合、BPLS は従来の PLS 方法よりも優れています。

要約(オリジナル)

Semi-supervised learning by self-training heavily relies on pseudo-label selection (PLS). The selection often depends on the initial model fit on labeled data. Early overfitting might thus be propagated to the final model by selecting instances with overconfident but erroneous predictions, often referred to as confirmation bias. This paper introduces BPLS, a Bayesian framework for PLS that aims to mitigate this issue. At its core lies a criterion for selecting instances to label: an analytical approximation of the posterior predictive of pseudo-samples. We derive this selection criterion by proving Bayes optimality of the posterior predictive of pseudo-samples. We further overcome computational hurdles by approximating the criterion analytically. Its relation to the marginal likelihood allows us to come up with an approximation based on Laplace’s method and the Gaussian integral. We empirically assess BPLS for parametric generalized linear and non-parametric generalized additive models on simulated and real-world data. When faced with high-dimensional data prone to overfitting, BPLS outperforms traditional PLS methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google