Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax

要約

Deep InfoMax (DIM) は、ディープ ニューラル ネットワーク エンコーダーの入力と出力間の相互情報の最大化に基づく自己教師あり表現学習 (SSRL) の確立された手法です。
DIM と対照的 SSRL は一般に十分に研究されているにもかかわらず、特定の分布に準拠する表現を学習するタスク (つまり、分布マッチング、DM) についてはまだ十分に取り組まれていません。
いくつかの下流タスク (生成モデリング、もつれ解除、外れ値検出など) に対する DM の重要性を動機として、学習した表現と選択した事前分布の自動マッチングを可能にするために DIM を強化しました。
これを達成するために、同じ InfoMax トレーニング目標を維持しながら、エンコーダの正規化された出力に独立したノイズを注入することを提案します。
このような修正により、一様かつ正規分布の表現だけでなく、他の絶対連続分布の表現も学習できることを示します。
私たちのアプローチは、さまざまな下流タスクでテストされています。
この結果は、下流タスクのパフォーマンスと DM の品質との間に適度なトレードオフがあることを示しています。

要約(オリジナル)

Deep InfoMax (DIM) is a well-established method for self-supervised representation learning (SSRL) based on maximization of the mutual information between the input and the output of a deep neural network encoder. Despite the DIM and contrastive SSRL in general being well-explored, the task of learning representations conforming to a specific distribution (i.e., distribution matching, DM) is still under-addressed. Motivated by the importance of DM to several downstream tasks (including generative modeling, disentanglement, outliers detection and other), we enhance DIM to enable automatic matching of learned representations to a selected prior distribution. To achieve this, we propose injecting an independent noise into the normalized outputs of the encoder, while keeping the same InfoMax training objective. We show that such modification allows for learning uniformly and normally distributed representations, as well as representations of other absolutely continuous distributions. Our approach is tested on various downstream tasks. The results indicate a moderate trade-off between the performance on the downstream tasks and quality of DM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google