Unsupervised Visual Representation Learning via Mutual Information Regularized Assignment

要約

本稿では、情報最大化に着想を得た教師なし表現学習のための擬似ラベル付けアルゴリズムであるMutual Information Regularized Assignment (MIRA)を提案する。我々はオンライン擬似ラベル付けを、与えられたモデル確率に近い状態でラベルとデータ間の相互情報量を最大化する擬似ラベルを求める最適化問題として定式化する。固定小数点反復法を導出し、最適解への収束を証明する。ベースラインとは対照的に、MIRAと擬似ラベル予測を組み合わせることで、サンプリング戦略や等分割制約などの余分な学習技術や人工的な制約を取り入れることなく、シンプルかつ効果的なクラスタリングベースの表現学習が可能となる。MIRAによって学習された表現は、比較的少ない学習エポック数で、線形/k-NN評価や転移学習などの様々な下流タスクにおいて最先端の性能を達成することが可能である。特に、ResNet-50アーキテクチャを用いたImageNetデータセットに本手法を適用した場合、わずか400エポックで75.6%の線形評価精度を達成することができた。

要約(オリジナル)

This paper proposes Mutual Information Regularized Assignment (MIRA), a pseudo-labeling algorithm for unsupervised representation learning inspired by information maximization. We formulate online pseudo-labeling as an optimization problem to find pseudo-labels that maximize the mutual information between the label and data while being close to a given model probability. We derive a fixed-point iteration method and prove its convergence to the optimal solution. In contrast to baselines, MIRA combined with pseudo-label prediction enables a simple yet effective clustering-based representation learning without incorporating extra training techniques or artificial constraints such as sampling strategy, equipartition constraints, etc. With relatively small training epochs, representation learned by MIRA achieves state-of-the-art performance on various downstream tasks, including the linear/k-NN evaluation and transfer learning. Especially, with only 400 epochs, our method applied to ImageNet dataset with ResNet-50 architecture achieves 75.6% linear evaluation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL