Canonical normalizing flows for manifold learning

要約

多様体学習フローは、データの低次元の多様体記述を前提とする生成モデリング手法の一種です。
このような多様体のデータの高次元空間への埋め込みは、学習可能な逆変換によって実現されます。
したがって、再構成損失を介して多様体が適切に位置合わせされると、確率密度は多様体上で扱いやすくなり、最尤法を使用してネットワーク パラメーターを最適化できます。
当然のことながら、データの低次元表現には単射写像が必要です。
最近のアプローチでは、高次元空間に埋め込む際に密度の体積変化項を効率的に計算しながら、密度をモデル化された多様体と一致させることができました。
ただし、単射写像が分析的に事前定義されていない限り、学習された多様体は必ずしもデータの効率的な表現であるとは限りません。
つまり、そのようなモデルの潜在次元は、縮退した情報が各次元に格納されている状態で、もつれた固有の基底を学習することがよくあります。
あるいは、局所直交基底および/またはスパース基底 (ここでは正準固有基底という造語) を学習する場合、よりコンパクトな潜在空間表現の学習に役立ちます。
この目的に向けて、我々は正準多様体学習フロー法を提案します。この方法では、新しい最適化目標により、変換行列に顕著な非縮退基底関数がほとんど含まれないように強制されます。
非対角多様体計量要素 $\ell_1$-norm を最小化することで、同時にスパースおよび/または直交であるそのような基底を達成できることを示します。
正準多様体流れは、潜在空間をより効率的に使用し、データを表すための顕著で明確な次元を自動的に生成し、私たちが実施したほとんどの実験において他の多様体流れ法よりもターゲット分布の近似を良くするため、FID スコアが低くなります。

要約(オリジナル)

Manifold learning flows are a class of generative modelling techniques that assume a low-dimensional manifold description of the data. The embedding of such a manifold into the high-dimensional space of the data is achieved via learnable invertible transformations. Therefore, once the manifold is properly aligned via a reconstruction loss, the probability density is tractable on the manifold and maximum likelihood can be used to optimize the network parameters. Naturally, the lower-dimensional representation of the data requires an injective-mapping. Recent approaches were able to enforce that the density aligns with the modelled manifold, while efficiently calculating the density volume-change term when embedding to the higher-dimensional space. However, unless the injective-mapping is analytically predefined, the learned manifold is not necessarily an efficient representation of the data. Namely, the latent dimensions of such models frequently learn an entangled intrinsic basis, with degenerate information being stored in each dimension. Alternatively, if a locally orthogonal and/or sparse basis is to be learned, here coined canonical intrinsic basis, it can serve in learning a more compact latent space representation. Toward this end, we propose a canonical manifold learning flow method, where a novel optimization objective enforces the transformation matrix to have few prominent and non-degenerate basis functions. We demonstrate that by minimizing the off-diagonal manifold metric elements $\ell_1$-norm, we can achieve such a basis, which is simultaneously sparse and/or orthogonal. Canonical manifold flow yields a more efficient use of the latent space, automatically generating fewer prominent and distinct dimensions to represent data, and a better approximation of target distributions than other manifold flow methods in most experiments we conducted, resulting in lower FID scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google