On Diversity in Discriminative Neural Networks

要約

多様性は、情報処理に基づくほぼすべての分野において最も重要な概念です。
たとえば、電気通信では、空間、時間、周波数のダイバーシティと冗長コーディングは、非常に効率的なシステムの設計を可能にする基本的な概念です。
機械学習、特にニューラル ネットワークでは、多様性は常に強調されたり、少なくとも明確に認識されたりする概念ではありません。
この論文では、さまざまな多様性原理に基づいて構築されるニューラル ネットワーク アーキテクチャを提案します。その原理の中には、すでに知られているものもあれば、より独創的なものもあります。
私たちのアーキテクチャは、MNIST で 99.57% という記録的な自己教師あり学習精度を達成し、クラスあたりわずか 25 個のラベルを使用した CIFAR-10 でトップレベルの約束された半教師あり学習精度 94.21% という顕著な結果をもたらしました。

要約(オリジナル)

Diversity is a concept of prime importance in almost all disciplines based on information processing. In telecommunications, for example, spatial, temporal, and frequency diversity, as well as redundant coding, are fundamental concepts that have enabled the design of extremely efficient systems. In machine learning, in particular with neural networks, diversity is not always a concept that is emphasized or at least clearly identified. This paper proposes a neural network architecture that builds upon various diversity principles, some of them already known, others more original. Our architecture obtains remarkable results, with a record self-supervised learning accuracy of 99. 57% in MNIST, and a top tier promising semi-supervised learning accuracy of 94.21% in CIFAR-10 using only 25 labels per class.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google