Contrastive Self-Supervised Learning As Neural Manifold Packing

要約

ポイントごとの比較に基づいた対照的な自己監視学習は、ビジョンタスクのために広く研究されています。
脳の視覚皮質では、明確な刺激クラスに対するニューロン応答が、神経マニホールドとして知られる幾何学的構造に編成されています。
刺激の正確な分類は、梱包の問題を解決するのと同様に、これらの多様体を効果的に分離することで実現できます。
対照学習をマニホールドパッキング（CLAMP）として紹介します。これは、表現学習をマニホールドパッキングの問題として再構築する自己補助的なフレームワークです。
クランプは、単純な液体や詰まったパッキングの物理学で遭遇したものなど、短距離反発粒子システムのポテンシャルエネルギーに触発された損失関数を導入します。
このフレームワークでは、各クラスは、単一の画像の複数の拡張ビューを埋め込むサブマニホールドで構成されています。
サブマニホールドのサイズと位置は、梱包損失の勾配に従って動的に最適化されます。
このアプローチは、ジャミング物理学を平行にする埋め込み空間に解釈可能なダイナミクスをもたらし、損失関数内に幾何学的に意味のあるハイパーパラメーターを導入します。
バックボーンをフリーズし、線形分類器のみをトレーニングする標準の線形評価プロトコルの下で、クランプは最先端の自己監視モデルで競争力のあるパフォーマンスを達成します。
さらに、私たちの分析では、異なるカテゴリに対応するニューラルマニホールドが自然に現れ、学習した表現空間で効果的に分離されており、物理学、神経科学、機械学習からの洞察を橋渡しするためのクランプの可能性を強調しています。

要約(オリジナル)

Contrastive self-supervised learning based on point-wise comparisons has been widely studied for vision tasks. In the visual cortex of the brain, neuronal responses to distinct stimulus classes are organized into geometric structures known as neural manifolds. Accurate classification of stimuli can be achieved by effectively separating these manifolds, akin to solving a packing problem. We introduce Contrastive Learning As Manifold Packing (CLAMP), a self-supervised framework that recasts representation learning as a manifold packing problem. CLAMP introduces a loss function inspired by the potential energy of short-range repulsive particle systems, such as those encountered in the physics of simple liquids and jammed packings. In this framework, each class consists of sub-manifolds embedding multiple augmented views of a single image. The sizes and positions of the sub-manifolds are dynamically optimized by following the gradient of a packing loss. This approach yields interpretable dynamics in the embedding space that parallel jamming physics, and introduces geometrically meaningful hyperparameters within the loss function. Under the standard linear evaluation protocol, which freezes the backbone and trains only a linear classifier, CLAMP achieves competitive performance with state-of-the-art self-supervised models. Furthermore, our analysis reveals that neural manifolds corresponding to different categories emerge naturally and are effectively separated in the learned representation space, highlighting the potential of CLAMP to bridge insights from physics, neural science, and machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google