Dataset Size Dependence of Rate-Distortion Curve and Threshold of Posterior Collapse in Linear VAE

要約

変分オートエンコーダ (VAE) では、変分事後分布が事前変分と密接に一致することが多く、これは事後崩壊として知られ、表現学習の品質を妨げます。
この問題を軽減するために、調整可能なハイパーパラメータ ベータが VAE に導入されました。
この論文では、高次元の限界における最小 VAE を分析することによって、VAE のベータ、データセット サイズ、事後崩壊、およびレート歪み曲線の間の関係を評価するための閉形式の式を提示します。
これらの結果は、ベータが比較的大きい場合、汎化誤差の長いプラトーが現れることを明らかにしています。
ベータが増加するにつれてプラトーの長さは広がり、特定のベータしきい値を超えると無限になります。
これは、通常の正則化パラメーターとは異なり、ベータの選択がデータセットのサイズに関係なく事後崩壊を引き起こす可能性があることを意味します。
したがって、ベータは慎重な調整が必要な危険なパラメーターです。
さらに、レート歪み曲線に対するデータセットサイズの依存性を考慮すると、高いレートでレート歪み曲線を取得するには、比較的大きなデータセットが必要です。
広範な数値実験が私たちの分析を裏付けています。

要約(オリジナル)

In the Variational Autoencoder (VAE), the variational posterior often aligns closely with the prior, which is known as posterior collapse and hinders the quality of representation learning. To mitigate this problem, an adjustable hyperparameter beta has been introduced in the VAE. This paper presents a closed-form expression to assess the relationship between the beta in VAE, the dataset size, the posterior collapse, and the rate-distortion curve by analyzing a minimal VAE in a high-dimensional limit. These results clarify that a long plateau in the generalization error emerges with a relatively larger beta. As the beta increases, the length of the plateau extends and then becomes infinite beyond a certain beta threshold. This implies that the choice of beta, unlike the usual regularization parameters, can induce posterior collapse regardless of the dataset size. Thus, beta is a risky parameter that requires careful tuning. Furthermore, considering the dataset-size dependence on the rate-distortion curve, a relatively large dataset is required to obtain a rate-distortion curve with high rates. Extensive numerical experiments support our analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google