Beyond Confidence: Reliable Models Should Also Consider Atypicality

要約

ほとんどの機械学習モデルは予測の信頼性を提供できますが、信頼性は予測の信頼性を理解するには不十分です。
たとえば、入力がトレーニング データセットで適切に表現されていない場合、または入力が本質的にあいまいな場合、モデルの予測の信頼度が低くなる可能性があります。
この研究では、サンプルまたはクラスがどの程度非典型的 (希少) であるかということと、モデルの予測の信頼性との間の関係を調査します。
まず、非定型性が校正ミスと精度に強く関係していることを示します。
特に、非定型入力または非定型クラスの予測は過信されており、精度が低いことが経験的に示されています。
これらの洞察を使用して、非定型性を組み込むことで、識別ニューラル ネットワークと大規模言語モデルの不確実性の定量化とモデルのパフォーマンスが向上することを示します。
ケーススタディでは、非定型性を使用すると、グループ属性にアクセスしなくても、さまざまな肌の色調のグループにわたる皮膚病変分類器のパフォーマンスが向上することを示しました。
全体として、不確実性の定量化とパフォーマンスを向上させるために、モデルは信頼性だけでなく非典型性も使用する必要があることを提案します。
私たちの結果は、単純な事後的な非定型性推定が大きな価値を提供できることを示しています。

要約(オリジナル)

While most machine learning models can provide confidence in their predictions, confidence is insufficient to understand a prediction’s reliability. For instance, the model may have a low confidence prediction if the input is not well-represented in the training dataset or if the input is inherently ambiguous. In this work, we investigate the relationship between how atypical(rare) a sample or a class is and the reliability of a model’s predictions. We first demonstrate that atypicality is strongly related to miscalibration and accuracy. In particular, we empirically show that predictions for atypical inputs or atypical classes are more overconfident and have lower accuracy. Using these insights, we show incorporating atypicality improves uncertainty quantification and model performance for discriminative neural networks and large language models. In a case study, we show that using atypicality improves the performance of a skin lesion classifier across different skin tone groups without having access to the group attributes. Overall, we propose that models should use not only confidence but also atypicality to improve uncertainty quantification and performance. Our results demonstrate that simple post-hoc atypicality estimators can provide significant value.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google