Training Invertible Neural Networks as Autoencoders

要約

オートエンコーダーは、教師なし問題で有用なデータ表現を学習することができ、さまざまな機械学習およびコンピューター ビジョン タスクで広く使用されています。
この作業では、INN (variational) autoencoders と呼ばれる (variational) autoencoders として Invertible Neural Networks (INN) をトレーニングする方法を紹介します。
MNIST、CIFAR、および CelebA での実験では、ボトルネック サイズが小さい場合、INN オートエンコーダーが従来のオートエンコーダーと同様の結果を達成することが示されています。
ただし、ボトルネックのサイズが大きい場合、INN オートエンコーダーは従来のオートエンコーダーよりも優れています。
経験的な結果に基づいて、INN オートエンコーダーには固有の情報損失がない可能性があり、それによってレイヤー (深さ) の最大数に制限されず、その後は最適ではない結果しか得られないという仮説を立てました。

要約(オリジナル)

Autoencoders are able to learn useful data representations in an unsupervised matter and have been widely used in various machine learning and computer vision tasks. In this work, we present methods to train Invertible Neural Networks (INNs) as (variational) autoencoders which we call INN (variational) autoencoders. Our experiments on MNIST, CIFAR and CelebA show that for low bottleneck sizes our INN autoencoder achieves results similar to the classical autoencoder. However, for large bottleneck sizes our INN autoencoder outperforms its classical counterpart. Based on the empirical results, we hypothesize that INN autoencoders might not have any intrinsic information loss and thereby are not bounded to a maximal number of layers (depth) after which only suboptimal results can be achieved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google