Regularizing Neural Networks with Meta-Learning Generative Models

要約

この論文では、深層学習の生成データ拡張を改善する方法を調査します。
生成データ拡張では、生成モデルによって生成された合成サンプルを、小規模なデータセット設定による分類用の追加データセットとして利用します。
生成データ拡張の主な課題は、合成データに精度を低下させる有益でないサンプルが含まれていることです。
これは、合成サンプルが実際のデータのクラス カテゴリを完全に表しているわけではなく、均一なサンプリングがタスクに有用なサンプルを提供するとは限らないためです。
この論文では、メタ生成正則化 (MGR) と呼ばれる生成データ拡張のための新しい戦略を紹介します。
生成データ拡張の劣化を回避するために、MGR は、クロスエントロピーなどの損失関数ではなく、特徴抽出器の正則化項で合成サンプルを利用します。
これらの合成サンプルは、メタ学習による検証損失を最小限に抑えるために動的に決定されます。
MGR により、単純な生成データ拡張によるパフォーマンスの低下が回避され、ベースラインが向上することがわかりました。
6 つのデータセットに対する実験では、特にデータセットが小さく、安定してベースラインを上回るパフォーマンスを示している場合に MGR が効果的であることが示されました。

要約(オリジナル)

This paper investigates methods for improving generative data augmentation for deep learning. Generative data augmentation leverages the synthetic samples produced by generative models as an additional dataset for classification with small dataset settings. A key challenge of generative data augmentation is that the synthetic data contain uninformative samples that degrade accuracy. This is because the synthetic samples do not perfectly represent class categories in real data and uniform sampling does not necessarily provide useful samples for tasks. In this paper, we present a novel strategy for generative data augmentation called meta generative regularization (MGR). To avoid the degradation of generative data augmentation, MGR utilizes synthetic samples in the regularization term for feature extractors instead of in the loss function, e.g., cross-entropy. These synthetic samples are dynamically determined to minimize the validation losses through meta-learning. We observed that MGR can avoid the performance degradation of na\’ive generative data augmentation and boost the baselines. Experiments on six datasets showed that MGR is effective particularly when datasets are smaller and stably outperforms baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google