Towards evolution of Deep Neural Networks through contrastive Self-Supervised learning

要約

ディープ ニューラル ネットワーク (DNN) は、幅広い問題に適用されて成功しています。
ただし、主に 2 つの制限が一般的に指摘されています。
1つ目は、設計に時間がかかることです。
もう 1 つは、ラベル付きデータに大きく依存しているため、コストがかかり、入手が困難な場合があります。
最初の問題に対処するには、ニューロ進化が DNN の設計を自動化するための妥当な選択肢であることが証明されています。
2 番目の問題に関しては、ラベルなしデータを活用して表現を学習するために自己教師あり学習が使用されています。
私たちの目標は、パフォーマンスの面で教師あり学習とのギャップを埋めるために、神経進化が自己教師あり学習にどのように役立つかを研究することです。
この研究では、自己教師あり学習を使用してディープ ニューラル ネットワークを進化させることができるフレームワークを提案します。
CIFAR-10 データセットに関する私たちの結果は、ラベル付きデータへの依存を減らしながら、適切なニューラル ネットワークを進化させることが可能であることを示しています。
さらに、進化したネットワークの構造の分析では、教師あり学習に依存した個人と比較した場合、自己教師あり学習を介して学習したネットワークの構造に、ネットワークに供給されるラベル付きデータの量が与える影響が少ないことが示唆されています。

要約(オリジナル)

Deep Neural Networks (DNNs) have been successfully applied to a wide range of problems. However, two main limitations are commonly pointed out. The first one is that they require long time to design. The other is that they heavily rely on labelled data, which can sometimes be costly and hard to obtain. In order to address the first problem, neuroevolution has been proved to be a plausible option to automate the design of DNNs. As for the second problem, self-supervised learning has been used to leverage unlabelled data to learn representations. Our goal is to study how neuroevolution can help self-supervised learning to bridge the gap to supervised learning in terms of performance. In this work, we propose a framework that is able to evolve deep neural networks using self-supervised learning. Our results on the CIFAR-10 dataset show that it is possible to evolve adequate neural networks while reducing the reliance on labelled data. Moreover, an analysis to the structure of the evolved networks suggests that the amount of labelled data fed to them has less effect on the structure of networks that learned via self-supervised learning, when compared to individuals that relied on supervised learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google