Representation Learning via Consistent Assignment of Views over Random Partitions

要約

我々は、視覚的特徴の表現学習のための自己教師ありクラスタリング手法である、ランダム パーティション上のビューの一貫した割り当て (CARP) を紹介します。
CARP は、クラスター割り当て問題を解決するための微分不可能なモジュールを追加することなく、勾配降下法を使用してエンドツーエンドのオンライン形式でプロトタイプを学習します。
CARP は、モデルを正規化し、ビューの割り当て間の一貫性を強制するプロトタイプのランダムなパーティションに基づいて新しい口実タスクを最適化します。
さらに、私たちの方法はトレーニングの安定性を向上させ、関節埋め込みトレーニングでのソリューションの崩壊を防ぎます。
広範な評価を通じて、CARP の表現が下流タスクの学習に適していることを実証しました。
線形評価、少数ショット分類、k-NN、k-means、画像検索、コピー検出など、多くの標準プロトコルにわたる 17 のデータセットにおける CARP の表現機能を評価します。
CARP のパフォーマンスを 11 の既存の自己教師あり手法と比較します。
我々は手法を徹底的にアブレーションし、提案したランダム分割プレテキストタスクが複数のランダム分類タスクを考案することによって学習された表現の品質を向上させることを実証しました。
転移学習タスクでは、CARP は、長時間トレーニングされた多くの SSL メソッドに対して平均して最高のパフォーマンスを達成します。

要約(オリジナル)

We present Consistent Assignment of Views over Random Partitions (CARP), a self-supervised clustering method for representation learning of visual features. CARP learns prototypes in an end-to-end online fashion using gradient descent without additional non-differentiable modules to solve the cluster assignment problem. CARP optimizes a new pretext task based on random partitions of prototypes that regularizes the model and enforces consistency between views’ assignments. Additionally, our method improves training stability and prevents collapsed solutions in joint-embedding training. Through an extensive evaluation, we demonstrate that CARP’s representations are suitable for learning downstream tasks. We evaluate CARP’s representations capabilities in 17 datasets across many standard protocols, including linear evaluation, few-shot classification, k-NN, k-means, image retrieval, and copy detection. We compare CARP performance to 11 existing self-supervised methods. We extensively ablate our method and demonstrate that our proposed random partition pretext task improves the quality of the learned representations by devising multiple random classification tasks. In transfer learning tasks, CARP achieves the best performance on average against many SSL methods trained for a longer time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google