A Geometric Perspective on Autoencoders

要約

このペーパーでは、重要性にもかかわらず、比較的認識されていない、オートエンコーダ フレームワークの幾何学的側面について説明します。
低次元多様体上にほぼ存在する一連の高次元データ点が与えられると、オートエンコーダーは \textit{多様体} とその \textit{座標図} を同時に学習します。
この幾何学的な観点からは、当然、「データ点の有限セットは単一の多様体に対応するのか?」といった疑問が生じます。
あるいは、「多様体を表現できる座標図は 1 つだけですか?」
これらの質問に対する答えは否定的であり、データセットが与えられた場合に複数のソリューション オートエンコーダーが存在することを意味します。
その結果、潜在空間表現が大きく歪んだ不正確な多様体が生成されることがあります。
本稿では、これらの問題に対処する最近の幾何学的なアプローチを紹介します。

要約(オリジナル)

This paper presents the geometric aspect of the autoencoder framework, which, despite its importance, has been relatively less recognized. Given a set of high-dimensional data points that approximately lie on some lower-dimensional manifold, an autoencoder learns the \textit{manifold} and its \textit{coordinate chart}, simultaneously. This geometric perspective naturally raises inquiries like ‘Does a finite set of data points correspond to a single manifold?’ or ‘Is there only one coordinate chart that can represent the manifold?’. The responses to these questions are negative, implying that there are multiple solution autoencoders given a dataset. Consequently, they sometimes produce incorrect manifolds with severely distorted latent space representations. In this paper, we introduce recent geometric approaches that address these issues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google