Understanding the Generalization Benefit of Model Invariance from a Data Perspective

要約

特定のタイプのデータ変換に対して不変性で開発された機械学習モデルは、実際に優れた一般化パフォーマンスを示しています。
ただし、不変性がより良い一般化につながる理由を説明する根本的なメカニズムは十分に理解されておらず、特定のデータセットに適切なデータ変換を選択する能力が制限されています.
この論文では、変換によって引き起こされるサンプル カバー、つまり、変換を使用してデータセット全体をほぼ復元できるデータセットの代表的なサブセットを導入することにより、モデルの不変性の一般化の利点を研究します。
この概念に基づいて、不変モデルの一般化の境界を絞り込み、変換によって誘導されるサンプルカバー数、つまり、誘導されたサンプルカバーの最小サイズによって、一連のデータ変換の適合性を特徴付けます。
少数のサンプル カバー数を持つ適切な変換では、一般化の境界を狭めることができることを示します。
さらに、提案されたサンプルカバー数は経験的に評価でき、より一般化するためのモデル不変性を開発するための変換を選択するための実用的なガイドを提供します。
複数のデータセットで一般的に使用される変換のサンプル カバー数を評価し、一連の変換のサンプル カバー数が小さいほど、不変モデルのテスト エラーとトレーニング エラーの間のギャップが小さいことを示し、提案を検証します。

要約(オリジナル)

Machine learning models that are developed with invariance to certain types of data transformations have demonstrated superior generalization performance in practice. However, the underlying mechanism that explains why invariance leads to better generalization is not well-understood, limiting our ability to select appropriate data transformations for a given dataset. This paper studies the generalization benefit of model invariance by introducing the sample cover induced by transformations, i.e., a representative subset of a dataset that can approximately recover the whole dataset using transformations. Based on this notion, we refine the generalization bound for invariant models and characterize the suitability of a set of data transformations by the sample covering number induced by transformations, i.e., the smallest size of its induced sample covers. We show that the generalization bound can be tightened for suitable transformations that have a small sample covering number. Moreover, our proposed sample covering number can be empirically evaluated, providing a practical guide for selecting transformations to develop model invariance for better generalization. We evaluate the sample covering numbers for commonly used transformations on multiple datasets and demonstrate that the smaller sample covering number for a set of transformations indicates a smaller gap between the test and training error for invariant models, thus validating our propositions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google