A Connection Between Learning to Reject and Bhattacharyya Divergences

要約

拒否することを学習することで、モデルが予測を行うことを控えることができる学習パラダイムを提供します。
リジェクトを学習する1つの方法は、理想的な限界分布（W.R.T.入力ドメイン）を学習することです。これは、仮説的な最良の限界分布を特徴付け、密度比を介して真の周辺分布と比較します。
この論文では、入力とラベルの両方にわたって共同理想的な分布を学習することを検討します。
拒否とさまざまな統計的発散のしきい値の間のリンクを開発します。
さらに、ログロスのバリアントを考慮すると、共同理想分布を考慮することで得られる除去器は、クラスプロビリティ間の歪んだバタチャリヤの分岐のしきい値に対応することがわかります。
これは、限界的なケースとは対照的です – これは、最適な拒絶の典型的な特性、Chowのルールと同等です。これは、Kullback -Leiblerの発散のしきい値に対応しています。
一般に、Bhattacharyyaの発散を介して拒否することは、Chowのルールよりも攻撃的ではないことがわかります。

要約(オリジナル)

Learning to reject provide a learning paradigm which allows for our models to abstain from making predictions. One way to learn the rejector is to learn an ideal marginal distribution (w.r.t. the input domain) – which characterizes a hypothetical best marginal distribution – and compares it to the true marginal distribution via a density ratio. In this paper, we consider learning a joint ideal distribution over both inputs and labels; and develop a link between rejection and thresholding different statistical divergences. We further find that when one considers a variant of the log-loss, the rejector obtained by considering the joint ideal distribution corresponds to the thresholding of the skewed Bhattacharyya divergence between class-probabilities. This is in contrast to the marginal case – that is equivalent to a typical characterization of optimal rejection, Chow’s Rule – which corresponds to a thresholding of the Kullback-Leibler divergence. In general, we find that rejecting via a Bhattacharyya divergence is less aggressive than Chow’s Rule.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google