Structure by Architecture: Structured Representations without Regularization

要約

私たちは、生成モデリングなどの下流タスクにオートエンコーダーを使用した自己教師あり構造化表現学習の問題を研究します。
サンプリングのための任意の比較的非構造的な事前分布のマッチングに依存するほとんどの方法とは異なり、潜在変数の独立性のみに依存するサンプリング手法を提案します。これにより、VAE で通常観察される再構成の品質と生成パフォーマンスの間のトレードオフが回避されます。
私たちは、積極的な正則化を必要とせずに構造化表現を学習できる新しいオートエンコーダ アーキテクチャを設計します。
私たちの構造デコーダーは潜在変数の階層を学習するため、追加の正則化や監視なしで情報を順序付けします。
これらのモデルが、いくつかの困難で自然な画像データセットを使用して、生成、もつれ解除、外挿などのさまざまな下流タスクの結果を向上させる表現をどのように学習するかを示します。

要約(オリジナル)

We study the problem of self-supervised structured representation learning using autoencoders for downstream tasks such as generative modeling. Unlike most methods which rely on matching an arbitrary, relatively unstructured, prior distribution for sampling, we propose a sampling technique that relies solely on the independence of latent variables, thereby avoiding the trade-off between reconstruction quality and generative performance typically observed in VAEs. We design a novel autoencoder architecture capable of learning a structured representation without the need for aggressive regularization. Our structural decoders learn a hierarchy of latent variables, thereby ordering the information without any additional regularization or supervision. We demonstrate how these models learn a representation that improves results in a variety of downstream tasks including generation, disentanglement, and extrapolation using several challenging and natural image datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google