Training Implicit Generative Models via an Invariant Statistical Loss

要約

暗黙的な生成モデルには、任意の複雑なデータ分布を学習する機能があります。
マイナス面としては、トレーニングでは実際のデータと敵対的識別子を使用して人工的に生成されたデータを区別する必要があるため、トレーニングが不安定になり、モードドロップの問題が発生します。
Zaheeらによって報告されているように。
(2017) によると、1 次元 (1D) の場合でも、敵対的生成ネットワーク (GAN) のトレーニングは困難であり、最適ではないことがよくあります。
この研究では、1 次元 (1D) 生成陰的モデルをトレーニングするための識別子を使用しない方法を開発し、その後、多変量ケースに対応できるようにこの方法を拡張します。
私たちの損失関数は、モデル サンプルの適切に選択された変換と一様分布の間の不一致の尺度です。
したがって、データの真の分布に関しては不変です。
まず 1D 確率変数に対する方法を定式化し、任意の複素分布の近似再パラメータ化に対する効果的なソリューションを提供します。
次に、プロセスの履歴を考慮して各サンプルの条件付き分布をモデル化する時間設定 (単変量と多変量の両方) を検討します。
数値シミュレーションを通じて、この新しい手法が有望な結果をもたらし、さまざまなシナリオで真の分布を学習し、最先端の陰的解法が引き起こすよく知られた問題のいくつかを軽減できることを実証します。

要約(オリジナル)

Implicit generative models have the capability to learn arbitrary complex data distributions. On the downside, training requires telling apart real data from artificially-generated ones using adversarial discriminators, leading to unstable training and mode-dropping issues. As reported by Zahee et al. (2017), even in the one-dimensional (1D) case, training a generative adversarial network (GAN) is challenging and often suboptimal. In this work, we develop a discriminator-free method for training one-dimensional (1D) generative implicit models and subsequently expand this method to accommodate multivariate cases. Our loss function is a discrepancy measure between a suitably chosen transformation of the model samples and a uniform distribution; hence, it is invariant with respect to the true distribution of the data. We first formulate our method for 1D random variables, providing an effective solution for approximate reparameterization of arbitrary complex distributions. Then, we consider the temporal setting (both univariate and multivariate), in which we model the conditional distribution of each sample given the history of the process. We demonstrate through numerical simulations that this new method yields promising results, successfully learning true distributions in a variety of scenarios and mitigating some of the well-known problems that state-of-the-art implicit methods present.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google