Reducing Redundancy in the Bottleneck Representation of the Autoencoders

要約

オートエンコーダーは教師なしニューラル ネットワークの一種で、次元削減、画像圧縮、画像ノイズ除去などのさまざまなタスクを解決するために使用できます。
AE には 2 つの目標があります。(i) エンコーダーを使用してネットワーク トポロジのボトルネックで元の入力を低次元空間に圧縮し、(ii) デコーダーを使用してボトルネックでの表現から入力を再構築します。
エンコーダーとデコーダーの両方が、歪みに基づく損失を最小限に抑えることによって共同で最適化されます。これにより、暗黙的にモデルは、を再構築して冗長性を減らすために必要な入力データのバリエーションのみを保持するようになります。
この論文では、ボトルネック表現における特徴の冗長性を明示的に罰するスキームを提案します。
この目的のために、ニューロンのペアワイズ相関に基づいて、追加の損失項を提案します。これは、標準の再構成損失を補完し、エンコーダーに入力のより多様で豊富な表現を学習させます。
3 つの異なるデータセットを使用した次元削減、MNIST データセットを使用した画像圧縮、ファッション MNIST を使用した画像ノイズ除去など、さまざまなタスクでアプローチをテストしました。
実験結果は、提案された損失が、標準の AE 損失と比較して一貫して優れたパフォーマンスをもたらすことを示しています。

要約(オリジナル)

Autoencoders are a type of unsupervised neural networks, which can be used to solve various tasks, e.g., dimensionality reduction, image compression, and image denoising. An AE has two goals: (i) compress the original input to a low-dimensional space at the bottleneck of the network topology using an encoder, (ii) reconstruct the input from the representation at the bottleneck using a decoder. Both encoder and decoder are optimized jointly by minimizing a distortion-based loss which implicitly forces the model to keep only those variations of input data that are required to reconstruct the and to reduce redundancies. In this paper, we propose a scheme to explicitly penalize feature redundancies in the bottleneck representation. To this end, we propose an additional loss term, based on the pair-wise correlation of the neurons, which complements the standard reconstruction loss forcing the encoder to learn a more diverse and richer representation of the input. We tested our approach across different tasks: dimensionality reduction using three different dataset, image compression using the MNIST dataset, and image denoising using fashion MNIST. The experimental results show that the proposed loss leads consistently to superior performance compared to the standard AE loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google