I Don’t Need u: Identifiable Non-Linear ICA Without Side Information

要約

本論文では、深層生成モデルを用いた教師なし表現学習のアルゴリズムの安定性を、同じ入力データに対する再トレーニングの繰り返しによる関数として調査する。低次元の線形表現を学習するアルゴリズム、例えば主成分分析（PCA）や線形独立成分分析（ICA）は、常に同じ潜在的表現を明らかにすることが保証されている（おそらく任意の回転や並べ替えまで）。しかし、確率的勾配降下法で学習する変分オートエンコーダ（VAE）のような非線形表現学習では、残念ながらそのような保証はない。非線形ICAにおける識別可能性に関する最近の研究は、サイド情報（例えば、情報量の多いラベル）の条件付けによって達成される、識別可能な潜在的表現を持つ深い生成モデルのファミリーを導入している。我々は、パラメータの再推定を繰り返した場合のこれらのモデルの安定性を経験的に評価し、標準的なVAEと潜在空間におけるクラスタリングを学習する深層生成モデルの両方と比較する。驚くべきことに、アルゴリズムの安定性に側面情報は必要ないことが分かった。識別可能性の標準的な定量的尺度を用いると、潜在的クラスタリングによる深層生成モデルは、補助ラベルに依存したモデルと同程度に経験的に識別可能であることが分かった。これらの結果を、識別可能な非線形ICAの可能性と関連付ける。

要約(オリジナル)

In this paper, we investigate the algorithmic stability of unsupervised representation learning with deep generative models, as a function of repeated re-training on the same input data. Algorithms for learning low dimensional linear representations — for example principal components analysis (PCA), or linear independent components analysis (ICA) — come with guarantees that they will always reveal the same latent representations (perhaps up to an arbitrary rotation or permutation). Unfortunately, for non-linear representation learning, such as in a variational auto-encoder (VAE) model trained by stochastic gradient descent, we have no such guarantees. Recent work on identifiability in non-linear ICA have introduced a family of deep generative models that have identifiable latent representations, achieved by conditioning on side information (e.g. informative labels). We empirically evaluate the stability of these models under repeated re-estimation of parameters, and compare them to both standard VAEs and deep generative models which learn to cluster in their latent space. Surprisingly, we discover side information is not necessary for algorithmic stability: using standard quantitative measures of identifiability, we find deep generative models with latent clusterings are empirically identifiable to the same degree as models which rely on auxiliary labels. We relate these results to the possibility of identifiable non-linear ICA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL