Minimalistic Unsupervised Learning with the Sparse Manifold Transform

要約

タイトル：Sparse Manifold Transformを用いた最小限の教師なし学習

要約：

– 最小限の工学的デザインを用いず、データ拡張やハイパーパラメータの調整を必要としない、解釈可能な教師なし学習方法を提案した。
– Sparse Manifold Transformを用いて、スパース符号化、マニフォールド学習、および遅い特徴解析を統合することで、メソッドを実現した。
– 1層の決定的スパースマニフォールド変換により、MNISTでは99.3％のKNNトップ-1正確度、CIFAR-10では81.1％、CIFAR-100では53.2％の正確度を達成した。
– 単純なグレースケール拡張を行うことで、モデルの正確度をCIFAR-10で83.2％、CIFAR-100で57％に向上させた。
– これらの結果は、SOTAメソッドと単純な白箱メソッドとの間のギャップを大幅に縮めるものである。
– また、提案された方法は、潜在的な埋め込み自己教師付き方法と密接に関連しており、VICRegの最も単純な形式と見なすことができる。
– 単純な構造的モデルとSOTAメソッドの間には小さな性能差があるものの、これは教師なし学習における基本的かつ白箱アプローチを実現するための有望な方向性であるという証拠になる。

要約(オリジナル)

We describe a minimalistic and interpretable method for unsupervised learning, without resorting to data augmentation, hyperparameter tuning, or other engineering designs, that achieves performance close to the SOTA SSL methods. Our approach leverages the sparse manifold transform, which unifies sparse coding, manifold learning, and slow feature analysis. With a one-layer deterministic sparse manifold transform, one can achieve 99.3% KNN top-1 accuracy on MNIST, 81.1% KNN top-1 accuracy on CIFAR-10 and 53.2% on CIFAR-100. With a simple gray-scale augmentation, the model gets 83.2% KNN top-1 accuracy on CIFAR-10 and 57% on CIFAR-100. These results significantly close the gap between simplistic ‘white-box’ methods and the SOTA methods. Additionally, we provide visualization to explain how an unsupervised representation transform is formed. The proposed method is closely connected to latent-embedding self-supervised methods and can be treated as the simplest form of VICReg. Though there remains a small performance gap between our simple constructive model and SOTA methods, the evidence points to this as a promising direction for achieving a principled and white-box approach to unsupervised learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI