Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models

要約

深層生成モデル (DGM) はデータを大量に消費します。
基本的に、限られたデータで複雑なモデルを学習すると、分散が大きくなり、過適合になりやすいためです。
\emph{バイアス分散のジレンマ} に着想を得て、\emph{正規化された深層生成モデル} (Reg-DGM) を提案します。これは、転送不可能な事前トレーニング済みモデルを活用して、限られたデータで生成モデリングの分散を減らします。
正式には、Reg-DGM は、データ分布と DGM の間の特定の発散と、事前にトレーニングされたモデル w.r.t によって定義されたエネルギー関数の期待値の加重和を最適化します。
DGM。
理論的には、ノンパラメトリック設定での Reg-DGM のグローバル最小値の存在と一意性を特徴付け、Reg-DGM w.r.t の統計的利点を厳密に証明します。
シンプルでありながら代表的なガウスフィッティングの例での平均二乗誤差と予想されるリスク。
経験的に、Reg-DGM で DGM と事前トレーニング済みモデルを指定することは非常に柔軟です。
特に、ImageNet で事前トレーニングされた ResNet-18 分類器とデータ依存のエネルギー関数を使用して、Reg-DGM は StyleGAN2 と ADA を含む強力な DGM の生成パフォーマンスを、限られたデータを使用していくつかのベンチマークで一貫して改善し、州と競争力のある結果を達成します。
-最先端の方法。

要約(オリジナル)

Deep generative models (DGMs) are data-eager. Essentially, it is because learning a complex model on limited data suffers from a large variance and easily overfits. Inspired by the \emph{bias-variance dilemma}, we propose \emph{regularized deep generative model} (Reg-DGM), which leverages a nontransferable pre-trained model to reduce the variance of generative modeling with limited data. Formally, Reg-DGM optimizes a weighted sum of a certain divergence between the data distribution and the DGM and the expectation of an energy function defined by the pre-trained model w.r.t. the DGM. Theoretically, we characterize the existence and uniqueness of the global minimum of Reg-DGM in the nonparametric setting and rigorously prove the statistical benefits of Reg-DGM w.r.t. the mean squared error and the expected risk in a simple yet representative Gaussian-fitting example. Empirically, it is quite flexible to specify the DGM and the pre-trained model in Reg-DGM. In particular, with a ResNet-18 classifier pre-trained on ImageNet and a data-dependent energy function, Reg-DGM consistently improves the generation performance of strong DGMs including StyleGAN2 and ADA on several benchmarks with limited data and achieves competitive results to the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google