On the Calibration of Probabilistic Classifier Sets

要約

タイトル: プロバビリスティック分類器群のキャリブレーションに関する研究
要約: この論文では、アンサンブル学習法等のプロバビリスティック分類器群を生成する多クラス分類手法が、アレアトリックおよびエピステモロジックな不確実性をモデル化できるが、アレアトリックな不確実性は通常Bayes誤差で、エピステモロジックな不確実性は集合の大きさで定量化される。本研究では、単一のプロバビリスティック分類器のアレアトリックな不確実性表現の妥当性を評価するために一般的に使用されるキャリブレーションの概念を拡張し、プロバビリスティック分類器群によって得られたエピステモロジックな不確実性表現の妥当性を評価する。カリブレーションされたプロバビリスティック分類器のキャリブレーションされた凸結合を見つけることができれば、プロバビリスティック分類器群をキャリブレーションされたと呼ぶ。このキャリブレーションの概念を評価するために、既存の単一のプロバビリスティック分類器のテストをプロバビリスティック分類器群の場合に拡張する新しいノンパラメトリックキャリブレーションテストを提案する。このテストを利用して、深層ニューラルネットワークのアンサンブルがしばしばキャリブレーションされていないことを実証することができる。

– 多クラス分類手法は、アレアトリック不確実性とエピステモロジック不確実性をモデル化することができる。
– アレアトリックな不確実性は、通常Bayes誤差で定量化される。
– エピステモロジックな不確実性は、集合の大きさで定量化される。
– 単一のプロバビリスティック分類器のアレアトリックな不確実性表現の妥当性を評価するために一般的に使用されるキャリブレーションの概念を拡張し、プロバビリスティック分類器群によって得られたエピステモロジックな不確実性表現の妥当性を評価する。
– カリブレーションされたプロバビリスティック分類器のキャリブレーションされた凸結合を見つけることができれば、プロバビリスティック分類器群をキャリブレーションされたと呼ぶ。
– 新しいノンパラメトリックキャリブレーションテストを提案する。
– 深層ニューラルネットワークのアンサンブルがしばしばキャリブレーションされていないことを実証することができる。

要約(オリジナル)

Multi-class classification methods that produce sets of probabilistic classifiers, such as ensemble learning methods, are able to model aleatoric and epistemic uncertainty. Aleatoric uncertainty is then typically quantified via the Bayes error, and epistemic uncertainty via the size of the set. In this paper, we extend the notion of calibration, which is commonly used to evaluate the validity of the aleatoric uncertainty representation of a single probabilistic classifier, to assess the validity of an epistemic uncertainty representation obtained by sets of probabilistic classifiers. Broadly speaking, we call a set of probabilistic classifiers calibrated if one can find a calibrated convex combination of these classifiers. To evaluate this notion of calibration, we propose a novel nonparametric calibration test that generalizes an existing test for single probabilistic classifiers to the case of sets of probabilistic classifiers. Making use of this test, we empirically show that ensembles of deep neural networks are often not well calibrated.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI