Approximately Bayes-Optimal Pseudo Label Selection

要約

タイトル：ほぼベイズ最適な擬似ラベル選択
要約：自己学習による半教師付き学習は、擬似ラベル選択に大きく頼っています。その選択は、ラベル付きデータに適合する初期モデルに依存することが多いため、初期の過学習が、過信しすぎて誤った予測をするインスタンスを選択することで最終モデルに伝播することがあります。この論文では、この問題を緩和するための、PLSのためのベイジアンフレームワークであるBPLSを紹介しています。BPLSの核心は、ラベルを選択するための基準であり、擬似サンプルの事後予測の解析的近似です。私たちは、擬似サンプルの事後予測のベイズ最適性を証明することによって、この選択基準を導き出しました。また、ラプラスの方法とガウス積分に基づく近似を用いることで、計算上の障害を克服しました。マージナル尤度との関係から、近似を考案することができました。私たちは、シミュレートおよび実世界のデータに対して、パラメトリックな一般化線形モデルと非パラメトリックな一般化加算モデルについて、BPLSを実証的に評価しました。高次元の過学習に陥りやすいデータに直面したとき、BPLSは従来のPLS方法を凌駕しています。

要約(オリジナル)

Semi-supervised learning by self-training heavily relies on pseudo-label selection (PLS). The selection often depends on the initial model fit on labeled data. Early overfitting might thus be propagated to the final model by selecting instances with overconfident but erroneous predictions, often referred to as confirmation bias. This paper introduces BPLS, a Bayesian framework for PLS that aims to mitigate this issue. At its core lies a criterion for selecting instances to label: an analytical approximation of the posterior predictive of pseudo-samples. We derive this selection criterion by proving Bayes optimality of the posterior predictive of pseudo-samples. We further overcome computational hurdles by approximating the criterion analytically. Its relation to the marginal likelihood allows us to come up with an approximation based on Laplace’s method and the Gaussian integral. We empirically assess BPLS for parametric generalized linear and non-parametric generalized additive models on simulated and real-world data. When faced with high-dimensional data prone to overfitting, BPLS outperforms traditional PLS methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI