Generalization Guarantees for Representation Learning via Data-Dependent Gaussian Mixture Priors

要約

表現学習型アルゴリズムの一般化エラーの発表と尾の境界を確立します。
境界は、トレーニングから抽出された表現の分布と「テスト」データセットとデータ依存の対称事前、つまりトレーニング用の潜在変数の最小説明長（MDL）との相対的なエントロピーの観点から、トレーニングの最小説明長（MDL）と
テストデータセット。
私たちの境界は、エンコーダーの「構造」と「シンプルさ」を反映し、調査したモデルの既存の少数のものを大幅に改善することが示されています。
次に、適切なデータ依存性の正規者を考案するために、縛られた除外を使用します。
そして、私たちは前の選択の重要な問題を徹底的に調査します。
以前にデータ依存のガウス混合物を同時に学習し、それを正規者として使用するための体系的なアプローチを提案します。
興味深いことに、この手順では、加重注意メカニズムが自然に現れることを示しています。
私たちの実験は、私たちのアプローチが、今では人気のある変異情報ボトルネック（VIB）メソッドと最近のカテゴリ依存性VIB（CDVIB）を上回ることを示しています。

要約(オリジナル)

We establish in-expectation and tail bounds on the generalization error of representation learning type algorithms. The bounds are in terms of the relative entropy between the distribution of the representations extracted from the training and ‘test” datasets and a data-dependent symmetric prior, i.e., the Minimum Description Length (MDL) of the latent variables for the training and test datasets. Our bounds are shown to reflect the ‘structure’ and ‘simplicity” of the encoder and significantly improve upon the few existing ones for the studied model. We then use our in-expectation bound to devise a suitable data-dependent regularizer; and we investigate thoroughly the important question of the selection of the prior. We propose a systematic approach to simultaneously learning a data-dependent Gaussian mixture prior and using it as a regularizer. Interestingly, we show that a weighted attention mechanism emerges naturally in this procedure. Our experiments show that our approach outperforms the now popular Variational Information Bottleneck (VIB) method as well as the recent Category-Dependent VIB (CDVIB).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google