Pseudo-label Learning with Calibrated Confidence Using an Energy-based Model

要約

半教師あり学習の一種である擬似ラベル (PL) では、分類器によって提供される信頼スコアに基づいて擬似ラベルが割り当てられます。
したがって、PL を成功させるには、正確な自信が重要です。
本研究では、エネルギーベースモデル (EBM) に基づく PL アルゴリズムを提案します。これは、エネルギーベース PL (EBPL) と呼ばれます。
EBPL では、ニューラル ネットワーク ベースの分類器と EBM は、特徴抽出部分を共有することで共同でトレーニングされます。
このアプローチにより、モデルはクラス決定境界と入力データ分布の両方を学習できるようになり、ネットワーク トレーニング中の信頼度の調整が強化されます。
実験結果は、EBPL が半教師あり画像分類タスクにおいて既存の PL 手法よりも優れており、優れた信頼性キャリブレーション誤差と認識精度を備えていることを示しています。

要約(オリジナル)

In pseudo-labeling (PL), which is a type of semi-supervised learning, pseudo-labels are assigned based on the confidence scores provided by the classifier; therefore, accurate confidence is important for successful PL. In this study, we propose a PL algorithm based on an energy-based model (EBM), which is referred to as the energy-based PL (EBPL). In EBPL, a neural network-based classifier and an EBM are jointly trained by sharing their feature extraction parts. This approach enables the model to learn both the class decision boundary and input data distribution, enhancing confidence calibration during network training. The experimental results demonstrate that EBPL outperforms the existing PL method in semi-supervised image classification tasks, with superior confidence calibration error and recognition accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google