Batched Predictors Generalize within Distribution

要約

私たちは、バッチ予測子、つまり、サンプルの小さなセット (またはバッチ) の平均ラベルを予測するタスクを負ったモデルの一般化特性を研究します。
バッチ予測パラダイムは、オフライン テストの準備として化合物グループの品質を決定するために導入されたモデルに特に関連します。
Rademacher の複雑性の適切な一般化を利用することにより、バッチ予測子には、標準的なサンプルごとのアプローチと比較して、指数関数的に強力な一般化保証が付いていることが証明されます。
驚くべきことに、提案された境界はオーバーパラメータ化とは独立して保持されます。
私たちの理論的な洞察は、さまざまなタスク、アーキテクチャ、アプリケーションに対して実験的に検証されています。

要約(オリジナル)

We study the generalization properties of batched predictors, i.e., models tasked with predicting the mean label of a small set (or batch) of examples. The batched prediction paradigm is particularly relevant for models deployed to determine the quality of a group of compounds in preparation for offline testing. By utilizing a suitable generalization of the Rademacher complexity, we prove that batched predictors come with exponentially stronger generalization guarantees as compared to the standard per-sample approach. Surprisingly, the proposed bound holds independently of overparametrization. Our theoretical insights are validated experimentally for various tasks, architectures, and applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google