Why do autoencoders work?

要約

ディープニューラルネットワークのオートエンコーダは、モデル削減のために日常的に使用されている。これは入力ユークリッド空間$kR^n$の$k$次元部分集合$K$にあるデータの固有次元を認識できる。基本的なアイデアは、$R^n$を$R^k$に写像する符号化層（ボトルネック層または潜 在変数空間と呼ばれる）と、$R^k$を$R^n$に写像する復号化層を、2つの写像を合成するとき に集合$K$からの入力データを回復するように得ることである。これは、入力と再構成された出力の間の不一致を最小化するように、ネットワークのパラメータ（重み）を調整することによって達成される。連続活性化関数を持つ）ニューラルネットワークは連続写像を計算するので、完全な再構成を達成するネットワークが存在するということは、$K$が$k$次元の部分集合に同型であることを意味する。一方、実際にはこの手法は「うまくいく」ことが分かっており、この有効性を説明する方法はないかと考えている。我々は、小さな誤差までは、確かにこの手法がうまくいくことが保証されていることを示す。これは微分幾何学のある事実を利用することで実現される。また、この考え方を説明するための計算例も示す。

要約(オリジナル)

Deep neural network autoencoders are routinely used computationally for model reduction. They allow recognizing the intrinsic dimension of data that lie in a $k$-dimensional subset $K$ of an input Euclidean space $\R^n$. The underlying idea is to obtain both an encoding layer that maps $\R^n$ into $\R^k$ (called the bottleneck layer or the space of latent variables) and a decoding layer that maps $\R^k$ back into $\R^n$, in such a way that the input data from the set $K$ is recovered when composing the two maps. This is achieved by adjusting parameters (weights) in the network to minimize the discrepancy between the input and the reconstructed output. Since neural networks (with continuous activation functions) compute continuous maps, the existence of a network that achieves perfect reconstruction would imply that $K$ is homeomorphic to a $k$-dimensional subset of $\R^k$, so clearly there are topological obstructions to finding such a network. On the other hand, in practice the technique is found to “work” well, which leads one to ask if there is a way to explain this effectiveness. We show that, up to small errors, indeed the method is guaranteed to work. This is done by appealing to certain facts from differential geometry. A computational example is also included to illustrate the ideas.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL