Self-Supervised Classification Network

要約

自己分類器を紹介します。これは、新しい自己教師ありエンドツーエンド分類学習アプローチです。
Self-Classifierは、同じサンプルの2つの拡張ビューの同じクラスの予測を最適化することにより、単一ステージのエンドツーエンドの方法でラベルと表現を同時に学習します。
非縮退ソリューション（つまり、すべてのラベルが同じクラスに割り当てられているソリューション）を保証するために、予測されたラベルに均一な事前確率が設定されている、数学的に動機付けられたクロスエントロピー損失のバリアントを提案します。
私たちの理論的分析では、縮退したソリューションが私たちのアプローチの最適なソリューションのセットに含まれていないことを証明します。
自己分類器は実装が簡単でスケーラブルです。
他の一般的な教師なし分類および対照表現学習アプローチとは異なり、事前トレーニング、期待値最大化、疑似ラベル付け、外部クラスタリング、2番目のネットワーク、停止勾配操作、または負のペアは必要ありません。
その単純さにもかかわらず、私たちのアプローチは、ImageNetの教師なし分類のための新しい最先端を設定します。
さらに、教師なし表現学習の最先端の結果に匹敵する結果を達成します。
コードはhttps://github.com/elad-amrani/self-classifierで入手できます。

要約(オリジナル)

We present Self-Classifier — a novel self-supervised end-to-end classification learning approach. Self-Classifier learns labels and representations simultaneously in a single-stage end-to-end manner by optimizing for same-class prediction of two augmented views of the same sample. To guarantee non-degenerate solutions (i.e., solutions where all labels are assigned to the same class) we propose a mathematically motivated variant of the cross-entropy loss that has a uniform prior asserted on the predicted labels. In our theoretical analysis, we prove that degenerate solutions are not in the set of optimal solutions of our approach. Self-Classifier is simple to implement and scalable. Unlike other popular unsupervised classification and contrastive representation learning approaches, it does not require any form of pre-training, expectation-maximization, pseudo-labeling, external clustering, a second network, stop-gradient operation, or negative pairs. Despite its simplicity, our approach sets a new state of the art for unsupervised classification of ImageNet; and even achieves comparable to state-of-the-art results for unsupervised representation learning. Code is available at https://github.com/elad-amrani/self-classifier.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google