Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound

要約

現在の PAC ベイの一般化限界は、損失率やエラー率などのパフォーマンスのスカラー メトリクスに制限されています。
ただし、理想的には、回帰におけるテスト損失の分布やさまざまな誤分類の確率など、考えられる結果の分布全体を制御する、より情報量の多い証明書が必要です。
我々は、M 個のエラー タイプのセットの経験的確率と真の確率の間のカルバック ライブラー発散を制限することによって、このような豊富な情報を提供できる最初の PAC ベイズ境界を提供します。これは、回帰用の離散化された損失値、または次の要素のいずれかになります。
分類のための混同行列 (またはその分割)。
私たちは自分たちの限界を差別化可能なトレーニング目標に変えます。
私たちの限界は、さまざまな誤分類の重大度が時間の経過とともに変化する可能性がある場合に特に役立ちます。
既存の PAC-ベイズ境界は、エラー タイプの事前に決定された特定の重み付けのみを境界とすることができます。
対照的に、私たちの境界は、数え切れないほど多くの重み付けをすべて同時に暗黙的に制御します。

要約(オリジナル)

Current PAC-Bayes generalisation bounds are restricted to scalar metrics of performance, such as the loss or error rate. However, one ideally wants more information-rich certificates that control the entire distribution of possible outcomes, such as the distribution of the test loss in regression, or the probabilities of different mis classifications. We provide the first PAC-Bayes bound capable of providing such rich information by bounding the Kullback-Leibler divergence between the empirical and true probabilities of a set of M error types, which can either be discretized loss values for regression, or the elements of the confusion matrix (or a partition thereof) for classification. We transform our bound into a differentiable training objective. Our bound is especially useful in cases where the severity of different mis-classifications may change over time; existing PAC-Bayes bounds can only bound a particular pre-decided weighting of the error types. In contrast our bound implicitly controls all uncountably many weightings simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google