Generalization of the Gibbs algorithm with high probability at low temperatures

要約

このペーパーは、Gibbsアルゴリズムの一般化誤差にバウンドを与えます。これは、高温範囲の既知のデータ非依存境界を回復し、低温範囲に拡張します。ここでは、一般化はデータ依存の損失状態に大きく依存します。
高い確率で、ギブス後部から引き出された単一の仮説の一般化誤差は、類似または小さい経験的誤差を持つすべての仮説の前の前の体積とともに減少することが示されています。
これにより、フラットミニマの利益に対する信念に理論的なサポートが得られます。
ゼロ温度制限について説明し、バウンドは同様の確率的アルゴリズムのクラスに拡張されます。

要約(オリジナル)

The paper gives a bound on the generalization error of the Gibbs algorithm, which recovers known data-independent bounds for the high temperature range and extends to the low-temperature range, where generalization depends critically on the data-dependent loss-landscape. It is shown, that with high probability the generalization error of a single hypothesis drawn from the Gibbs posterior decreases with the total prior volume of all hypotheses with similar or smaller empirical error. This gives theoretical support to the belief in the benefit of flat minima. The zero temperature limit is discussed and the bound is extended to a class of similar stochastic algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google