URLOST: Unsupervised Representation Learning without Stationarity or Topology

要約

監視されていない表現学習は、大きな進歩を遂げています。
ただし、ドメイン固有の定常性とトポロジーへの依存によって制約されています。これは、生物学的知能システムには見られない制限です。
たとえば、コンピュータービジョンとは異なり、ヒューマンビジョンは、非常に不規則および非定常センサーからサンプリングされた視覚信号を処理できます。
定常性とトポロジーを事前に知ることなく、高次元データから学習する新しいフレームワークを紹介します。
私たちのモデルは、Urlostとして略され、学習可能な自己組織化層、スペクトルクラスタリング、およびマスクされた自動エンコーダー（MAE）を組み合わせています。
シミュレートされた生物学的視力データ、主要な視覚皮質からのニューラル記録、遺伝子発現など、3つの多様なデータモダリティに対する有効性を評価します。
SIMCLRやMAEのような最先端の教師のない学習方法と比較して、私たちのモデルは、それらの定常性やトポロジーを知らずに、多様なモダリティ全体で意味のある表現を学習することに優れています。
また、これらの要因に依存しない他の方法よりも優れており、フィールドに新しいベンチマークを設定します。
この作業は、多様な高次元データモダリティ全体に一般化できる監視されていない学習方法への一歩として位置付けています。

要約(オリジナル)

Unsupervised representation learning has seen tremendous progress. However, it is constrained by its reliance on domain specific stationarity and topology, a limitation not found in biological intelligence systems. For instance, unlike computer vision, human vision can process visual signals sampled from highly irregular and non-stationary sensors. We introduce a novel framework that learns from high-dimensional data without prior knowledge of stationarity and topology. Our model, abbreviated as URLOST, combines a learnable self-organizing layer, spectral clustering, and a masked autoencoder (MAE). We evaluate its effectiveness on three diverse data modalities including simulated biological vision data, neural recordings from the primary visual cortex, and gene expressions. Compared to state-of-the-art unsupervised learning methods like SimCLR and MAE, our model excels at learning meaningful representations across diverse modalities without knowing their stationarity or topology. It also outperforms other methods that are not dependent on these factors, setting a new benchmark in the field. We position this work as a step toward unsupervised learning methods capable of generalizing across diverse high-dimensional data modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google