Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders

要約

オートエンコーディングは表現学習においてよく使われる手法である。従来のオートエンコーダは、対称的な符号化-復号化手順と単純なユークリッド潜在空間を用い、教師なし方法で隠れた低次元構造を検出する。生成的敵対的ネットワークのような新しいデータ生成に対するいくつかの最新のアプローチは、この対称性を歪めるが、それでもなお、1つは画像を生成し、もう1つは学習セットから学習された事前知識に基づいて画像の品質を判断する、一対の巨大なネットワークを用いる。本研究では、クラスラベルのような半教師付き情報を追加的に取り込むことができる、非対称な符号化・復号化プロセスを持つチャートオートエンコーダを導入する。提案モデルは、複雑な位相幾何学的構造を持つデータの処理能力を向上させるだけでなく、近接するが離散的な多様体と、交差する多様体を、わずかな監視情報のみでうまく区別することができる。さらにこのモデルは、局所的に定義された線形射影のような、低複雑度の符号化操作しか必要としない。このようなネットワークの近似力について議論し、アンビエント空間の次元ではなく、データ多様体の固有次元に本質的に依存する境界を導出する。次に、与えられたデータ多様体を忠実に表現するために必要な学習データのサンプリング率の境界を組み込む。提案モデルが、近傍に多クラスが存在するが、異なるクラスの不連続な多様体、重複する多様体、非自明なトポロジーを持つ多様体を持つデータを効果的に管理できることを検証する数値実験を示す。最後に、コンピュータビジョンと分子動力学の問題に対するいくつかの実験により、実世界のデータに対する我々の手法の有効性を示す。

要約(オリジナル)

Autoencoding is a popular method in representation learning. Conventional autoencoders employ symmetric encoding-decoding procedures and a simple Euclidean latent space to detect hidden low-dimensional structures in an unsupervised way. Some modern approaches to novel data generation such as generative adversarial networks askew this symmetry, but still employ a pair of massive networks–one to generate the image and another to judge the images quality based on priors learned from a training set. This work introduces a chart autoencoder with an asymmetric encoding-decoding process that can incorporate additional semi-supervised information such as class labels. Besides enhancing the capability for handling data with complicated topological and geometric structures, the proposed model can successfully differentiate nearby but disjoint manifolds and intersecting manifolds with only a small amount of supervision. Moreover, this model only requires a low-complexity encoding operation, such as a locally defined linear projection. We discuss the approximation power of such networks and derive a bound that essentially depends on the intrinsic dimension of the data manifold rather than the dimension of ambient space. Next we incorporate bounds for the sampling rate of training data need to faithfully represent a given data manifold. We present numerical experiments that verify that the proposed model can effectively manage data with multi-class nearby but disjoint manifolds of different classes, overlapping manifolds, and manifolds with non-trivial topology. Finally, we conclude with some experiments on computer vision and molecular dynamics problems which showcase the efficacy of our methods on real-world data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL