Bias-variance decompositions: the exclusive privilege of Bregman divergences

要約

バイアス分散分解は、機械学習モデルの一般化パフォーマンスを理解するために広く使用されています。
二乗エラーの損失は簡単な分解を可能にしますが、ゼロ1つの損失や$ l_1 $損失などの他の損失関数 – は、予想される損失にバイアスと分散を合計しないか、意味のあるバイアスの本質的な特性を欠く定義に依存するか、
分散。
最近の研究では、より広範なクラスのブレグマンの発散について、クリーンな分解が達成されることが示されており、エントロピーの喪失は特別なケースとしてです。
ただし、これらの分解に必要かつ十分な条件は、未解決の問題のままです。
この論文では、軽度の規則性条件下での不寛容のアイデンティティを満たす継続的で非陰性の損失関数を研究することにより、この質問に対処します。
いわゆる$ g $ -bregmanの発散が、きれいなバイアス分散分解を持つ唯一のそのような損失関数であることを証明しています。
$ g $ -bregmanの発散は、変数の可逆的な変化を介して標準的なブレグマンの発散に変換できます。
これにより、このような可変変換まで、マハラノビス距離は、きれいなバイアス分散分解を備えた唯一の対称損失関数までになります。
また、損失関数に対する制限を緩和することの影響と、これが結果にどのように影響するかを調べます。

要約(オリジナル)

Bias-variance decompositions are widely used to understand the generalization performance of machine learning models. While the squared error loss permits a straightforward decomposition, other loss functions – such as zero-one loss or $L_1$ loss – either fail to sum bias and variance to the expected loss or rely on definitions that lack the essential properties of meaningful bias and variance. Recent research has shown that clean decompositions can be achieved for the broader class of Bregman divergences, with the cross-entropy loss as a special case. However, the necessary and sufficient conditions for these decompositions remain an open question. In this paper, we address this question by studying continuous, nonnegative loss functions that satisfy the identity of indiscernibles under mild regularity conditions. We prove that so-called $g$-Bregman divergences are the only such loss functions that have a clean bias-variance decomposition. A $g$-Bregman divergence can be transformed into a standard Bregman divergence through an invertible change of variables. This makes the squared Mahalanobis distance, up to such a variable transformation, the only symmetric loss function with a clean bias-variance decomposition. We also examine the impact of relaxing the restrictions on the loss functions and how this affects our results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google