On the Convergence Rate of Gaussianization with Random Rotations

要約

ガウス化は、逆伝播なしでトレーニングできる単純な生成モデルです。
低次元データに対して説得力のあるパフォーマンスを示しています。
ただし、次元が増加するにつれて、収束速度が遅くなることが観察されています。
必要な層の数がガウス入力の次元に線形に比例することを分析的に示します。
これは、モデルがディメンション間の依存関係を捉えることができないためであると私たちは主張します。
経験的に、任意の入力 $p(x)$ に対してコストが同様に線形に増加することがわかりますが、一部の分布では有利なスケーリングが観察されます。
私たちはスピードアップの可能性を探り、さらなる研究のための課題を定式化します。

要約(オリジナル)

Gaussianization is a simple generative model that can be trained without backpropagation. It has shown compelling performance on low dimensional data. As the dimension increases, however, it has been observed that the convergence speed slows down. We show analytically that the number of required layers scales linearly with the dimension for Gaussian input. We argue that this is because the model is unable to capture dependencies between dimensions. Empirically, we find the same linear increase in cost for arbitrary input $p(x)$, but observe favorable scaling for some distributions. We explore potential speed-ups and formulate challenges for further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google