Break The Spell Of Total Correlation In betaTCVAE

要約

タイトル：betaTCVAEでのトータル相関の魔法を解除する

要約：
– ラベルがない場合には、データに独立した特徴と依存した特徴が混在している。
– モデルの帰納バイアスをどのように構築するかによって、異なる複雑さを持つ特徴を柔軟に分割し、効果的に含めることが非教示型の分離表現学習の主な焦点である。
– 本論文では、トータル相関の新しい反復的分解経路を提案し、モデル能力配分の観点からVAEの分離表現能力を説明する。
– 新たに開発された目的関数は、latent variable dimensionsをジョイント分布に結合しながら、組み合わせのマージナル分布の独立制約を解除することで、操作可能な事前分布を持つlatent variablesを導く。
– 新しいモデルは、VAEがパラメータ能力を調整して、依存するデータ特徴と独立したデータ特徴を柔軟に分割することを可能にする。
– 様々なデータセットでの実験結果から、モデル能力とlatent variable grouping sizeの間に興味深い関連性があり、’V’-shapedな最良ELBO軌跡と呼ばれるものが見られる。
– また、提案された手法が妥当なパラメータ能力配分でより良い分離表現能力を得ることを実証している。

要約(オリジナル)

In the absence of artificial labels, the independent and dependent features in the data are cluttered. How to construct the inductive biases of the model to flexibly divide and effectively contain features with different complexity is the main focal point of unsupervised disentangled representation learning. This paper proposes a new iterative decomposition path of total correlation and explains the disentangled representation ability of VAE from the perspective of model capacity allocation. The newly developed objective function combines latent variable dimensions into joint distribution while relieving the independence constraints of marginal distributions in combination, leading to latent variables with a more manipulable prior distribution. The novel model enables VAE to adjust the parameter capacity to divide dependent and independent data features flexibly. Experimental results on various datasets show an interesting relevance between model capacity and the latent variable grouping size, called the ‘V’-shaped best ELBO trajectory. Additionally, we empirically demonstrate that the proposed method obtains better disentangling performance with reasonable parameter capacity allocation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI