Benign Autoencoders

要約

生成人工知能 (AI) の最近の進歩は、効率的なデータ表現に依存しており、多くの場合、エンコーダ/デコーダ アーキテクチャが特徴です。
私たちは、最適なエンコーダーとデコーダーのペアを見つけるという数学的問題を形式化し、その解決策を特徴付けます。これを「良性オートエンコーダー」(BAE) と名付けます。
BAE が生成問題の最適圧縮率次元を次元とする多様体にデータを射影することを証明します。
BAE と、条件付き GAN、コンテキスト エンコーダー、安定拡散、スタック型オートエンコーダー、生成モデルの学習機能などの AI の最近の開発との間の驚くべきつながりを強調します。
実例として、BAE が分布シフトの下で識別器のパフォーマンスを向上させる最適な低次元の潜在表現をどのように見つけることができるかを示します。
「悪性」データの次元を圧縮することにより、BAE はより滑らかで安定した勾配を実現します。

要約(オリジナル)

Recent progress in Generative Artificial Intelligence (AI) relies on efficient data representations, often featuring encoder-decoder architectures. We formalize the mathematical problem of finding the optimal encoder-decoder pair and characterize its solution, which we name the ‘benign autoencoder’ (BAE). We prove that BAE projects data onto a manifold whose dimension is the optimal compressibility dimension of the generative problem. We highlight surprising connections between BAE and several recent developments in AI, such as conditional GANs, context encoders, stable diffusion, stacked autoencoders, and the learning capabilities of generative models. As an illustration, we show how BAE can find optimal, low-dimensional latent representations that improve the performance of a discriminator under a distribution shift. By compressing ‘malignant’ data dimensions, BAE leads to smoother and more stable gradients.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google