New Perspective on Progressive GANs Distillation for One-class Novelty Detection

要約

1 クラスの新規性検出は、予想される通常のインスタンスとは異なる分布を持つ異常なインスタンスを識別するために実行されます。
この論文では、エンコーダ-デコーダ-エンコーダ方式 (EDE-GAN) に基づく敵対的生成ネットワークが最先端のパフォーマンスを実現します。
以下の 2 つの要素が上記の目的に役立ちます。 1) EDE-GAN は、画像間の再構成誤差を利用する従来の方法とは異なり、2 つの潜在ベクトル間の距離を異常スコアとして計算します。
2) バッチ サイズが 1 に設定されている場合、モデルは最良の結果を取得します。その優位性を説明するために、新しい GAN アーキテクチャを設計し、さまざまなバッチ サイズに応じてパフォーマンスを比較します。
さらに、実験が発見につながるということは、私たちの結果は、モデルのトレーニングに従事する際に潜在空間に対する制約がいかに有益であるかを示す証拠があることも意味します。
コンパクトで高速なモデルを学習する試みとして、設計された蒸留損失を通じて 2 つの標準 GAN を接続する新しいテクノロジーである Progressive Knowledge Distillation with GAN (P-KDGAN) を紹介します。
2 ステップのプログレッシブ学習により、スチューデント GAN のパフォーマンスが継続的に強化され、シングルステップ アプローチよりも優れた結果が得られます。
CIFAR-10、MNIST、および FMNIST データセットに関する実験結果は、24.45:1、311.11:1、および 311.11:1、および
それぞれ700:1。

要約(オリジナル)

One-class novelty detection is conducted to identify anomalous instances, with different distributions from the expected normal instances. In this paper, the Generative Adversarial Network based on the Encoder-Decoder-Encoder scheme (EDE-GAN) achieves state-of-the-art performance. The two factors bellow serve the above purpose: 1) The EDE-GAN calculates the distance between two latent vectors as the anomaly score, which is unlike the previous methods by utilizing the reconstruction error between images. 2) The model obtains best results when the batch size is set to 1. To illustrate their superiority, we design a new GAN architecture, and compare performances according to different batch sizes. Moreover, with experimentation leads to discovery, our result implies there is also evidence of just how beneficial constraint on the latent space are when engaging in model training. In an attempt to learn compact and fast models, we present a new technology, Progressive Knowledge Distillation with GANs (P-KDGAN), which connects two standard GANs through the designed distillation loss. Two-step progressive learning continuously augments the performance of student GANs with improved results over single-step approach. Our experimental results on CIFAR-10, MNIST, and FMNIST datasets illustrate that P-KDGAN improves the performance of the student GAN by 2.44%, 1.77%, and 1.73% when compressing the computationat ratios of 24.45:1, 311.11:1, and 700:1, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google