Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth

要約

オートエンコーダーは、機械学習と非可逆データ圧縮の多くの経験的分野において著名なモデルです。
しかし、基本的な理論上の疑問は、浅い 2 層設定であっても未解決のままです。
特に、浅いオートエンコーダは、基礎となるデータ分布の構造をどの程度キャプチャしますか?
スパース ガウス データの 1 ビット圧縮の典型的なケースでは、勾配降下法が入力のスパース構造を完全に無視した解に収束することを証明します。
つまり、アルゴリズムのパフォーマンスは、スパース性なしでガウス ソースを圧縮している場合と同じになります。
一般的なデータ分布の場合、データのスパース度の関数として、勾配降下ミニマイザーの形で相転移現象の証拠を示します。臨界スパース度レベル未満では、ミニマイザーは均一にランダムに取得される回転です (ちょうど
非スパース データの圧縮)。
臨界スパース性を超えると、最小化子が恒等式になります (順列まで)。
最後に、近似メッセージ パッシング アルゴリズムとの接続を活用することで、スパース データの圧縮におけるガウス パフォーマンスを向上させる方法を示します。浅いアーキテクチャにノイズ除去機能を追加すると、すでに損失が明らかに減少しており、適切な多層デコーダにより、
さらなる改善。
CIFAR-10 や MNIST などの画像データセットに関する調査結果を検証します。

要約(オリジナル)

Autoencoders are a prominent model in many empirical branches of machine learning and lossy data compression. However, basic theoretical questions remain unanswered even in a shallow two-layer setting. In particular, to what degree does a shallow autoencoder capture the structure of the underlying data distribution? For the prototypical case of the 1-bit compression of sparse Gaussian data, we prove that gradient descent converges to a solution that completely disregards the sparse structure of the input. Namely, the performance of the algorithm is the same as if it was compressing a Gaussian source – with no sparsity. For general data distributions, we give evidence of a phase transition phenomenon in the shape of the gradient descent minimizer, as a function of the data sparsity: below the critical sparsity level, the minimizer is a rotation taken uniformly at random (just like in the compression of non-sparse data); above the critical sparsity, the minimizer is the identity (up to a permutation). Finally, by exploiting a connection with approximate message passing algorithms, we show how to improve upon Gaussian performance for the compression of sparse data: adding a denoising function to a shallow architecture already reduces the loss provably, and a suitable multi-layer decoder leads to a further improvement. We validate our findings on image datasets, such as CIFAR-10 and MNIST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google