Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models

要約

タイトル: 限られたデータでの正則化による深層生成モデリングにおける非移植事前学習モデル

要約:
– 限られたデータから複雑なモデルを学習することは、大きなバリアンスとオーバーフィットの問題が生じ、データが必要とされる深い生成モデルは複雑なため、容易に問題が生じる。
– バイアス-バリアンストレードオフの古典的な観点から、非移植事前学習モデルを活用することで、限られたデータに対して生成モデリングのバリアンスを低減することが可能である。これにより、正則化された深層生成モデル（Reg-DGM）が提案される。
– Formally, Reg-DGMは、特定のダイバージェンスとエネルギー関数の期待値の加重和を最適化する。ダイバージェンスはデータとモデル分布の間のものであり、エネルギー関数は、モデル分布に関して事前学習されたモデルによって定義される。
– 加重ハイパーパラメータは、バイアスとバリアンスのトレードオフをどのように取るかを示すために、Gaussian-fitケースで分析される。
– 理論的には、非パラメトリックな設定でReg-DGMのグローバル最小値の存在と一意性を特徴付け、勾配ベースの方法でトレーニングされたニューラルネットワークによる収束を証明する。
– 実験的には、さまざまな事前学習された特徴抽出器とデータ依存性エネルギー関数を用いることで、Reg-DGMは限られたデータで強力なDGMの生成パフォーマンスを一貫して改善し、最新の手法に競合する結果を達成する。
– 実装はhttps://github.com/ML-GSAI/Reg-ADA-APAで利用可能。

要約(オリジナル)

Deep generative models (DGMs) are data-eager because learning a complex model on limited data suffers from a large variance and easily overfits. Inspired by the classical perspective of the bias-variance tradeoff, we propose regularized deep generative model (Reg-DGM), which leverages a nontransferable pre-trained model to reduce the variance of generative modeling with limited data. Formally, Reg-DGM optimizes a weighted sum of a certain divergence and the expectation of an energy function, where the divergence is between the data and the model distributions, and the energy function is defined by the pre-trained model w.r.t. the model distribution. We analyze a simple yet representative Gaussian-fitting case to demonstrate how the weighting hyperparameter trades off the bias and the variance. Theoretically, we characterize the existence and the uniqueness of the global minimum of Reg-DGM in a non-parametric setting and prove its convergence with neural networks trained by gradient-based methods. Empirically, with various pre-trained feature extractors and a data-dependent energy function, Reg-DGM consistently improves the generation performance of strong DGMs with limited data and achieves competitive results to the state-of-the-art methods. Our implementation is available at https://github.com/ML-GSAI/Reg-ADA-APA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI