Sample compression unleashed : New generalization bounds for real valued losses

要約

サンプル圧縮理論は、トレーニング データセットのサブセットと、通常はバイナリ シーケンスとして定義される (短い) メッセージ文字列を使用して完全に定義できる予測子の一般化保証を提供します。
以前の研究では、ゼロ 1 損失の一般化限界が提供されていましたが、これは特に深層学習アプローチに適用される場合に制限的でした。
この論文では、実数値の損失に適用される新しいサンプル圧縮限界を導出する一般的なフレームワークを紹介します。
私たちは、さまざまなタイプのモデル、たとえば、Pick-To-Learn (P2L) メタアルゴリズムで訓練されたニューラル ネットワークやデシジョン フォレストでそれらを評価することにより、境界の厳しさとその多用途性を経験的に実証します。
機械学習予測子を使用して、サンプル圧縮された予測子を生成します。
既存の P2L 境界とは対照的に、私たちの境界は一貫性のない場合に有効です。

要約(オリジナル)

The sample compression theory provides generalization guarantees for predictors that can be fully defined using a subset of the training dataset and a (short) message string, generally defined as a binary sequence. Previous works provided generalization bounds for the zero-one loss, which is restrictive, notably when applied to deep learning approaches. In this paper, we present a general framework for deriving new sample compression bounds that hold for real-valued losses. We empirically demonstrate the tightness of the bounds and their versatility by evaluating them on different types of models, e.g., neural networks and decision forests, trained with the Pick-To-Learn (P2L) meta-algorithm, which transforms the training method of any machine-learning predictor to yield sample-compressed predictors. In contrast to existing P2L bounds, ours are valid in the non-consistent case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google