Learning with Confidence: Training Better Classifiers from Soft Labels

要約

教師あり機械学習では、モデルは通常、ハードラベル、つまりクラスメンバーシップの明確な割り当てを含むデータを使用してトレーニングされます。
ただし、この従来のアプローチでは、これらのラベルに固有の不確実性が考慮されていません。
私たちは、クラス ラベル上の離散確率分布として表されるラベルの不確実性 (ソフト ラベルと呼ばれる) を組み込むことで、分類モデルの予測パフォーマンスが向上するかどうかを調査します。
まず、シミュレーション実験、特に限定されたサンプル サイズと不均衡なデータのモデル パラメーターを推定するためのソフト ラベル学習 (SLL) の潜在的な価値を示します。
次に、同一の基本分類子を使用してハード ラベルとソフト ラベルの両方から学習するためのさまざまなラッパー メソッドのパフォーマンスを比較します。
実世界からインスピレーションを得たクリーンラベルの合成データでは、SLL 手法はハードラベル手法よりも一貫して優れたパフォーマンスを発揮します。
現実世界のデータにはノイズが多く、正確なソフト ラベルを取得するのが難しいため、ノイズのある確率推定値がモデルのパフォーマンスに与える影響を研究します。
従来のノイズ モデルと並行して、私たちの研究では、ヒューマン アノテーターに影響を与えることが知られている 4 つのタイプのミスキャリブレーションを調査しています。
結果は、SLL メソッドがほとんどの設定でハードラベルメソッドよりも優れていることを示しています。
最後に、信頼スコアを使用して実世界のデータセットでメソッドを評価します。ここで、SLL メソッドは、より正確な信頼推定値を提供しながら、(ノイズの多い) ハード ラベルを予測する従来のメソッドと一致することが示されています。

要約(オリジナル)

In supervised machine learning, models are typically trained using data with hard labels, i.e., definite assignments of class membership. This traditional approach, however, does not take the inherent uncertainty in these labels into account. We investigate whether incorporating label uncertainty, represented as discrete probability distributions over the class labels — known as soft labels — improves the predictive performance of classification models. We first demonstrate the potential value of soft label learning (SLL) for estimating model parameters in a simulation experiment, particularly for limited sample sizes and imbalanced data. Subsequently, we compare the performance of various wrapper methods for learning from both hard and soft labels using identical base classifiers. On real-world-inspired synthetic data with clean labels, the SLL methods consistently outperform hard label methods. Since real-world data is often noisy and precise soft labels are challenging to obtain, we study the effect that noisy probability estimates have on model performance. Alongside conventional noise models, our study examines four types of miscalibration that are known to affect human annotators. The results show that SLL methods outperform the hard label methods in the majority of settings. Finally, we evaluate the methods on a real-world dataset with confidence scores, where the SLL methods are shown to match the traditional methods for predicting the (noisy) hard labels while providing more accurate confidence estimates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google