Contrastive Classification and Representation Learning with Probabilistic Interpretation

要約

クロスエントロピー損失は、分類に基づくタスクの主要な目的関数として機能してきた。ニューラルネットワークの分類器の学習に広く展開され、その有効性と確率的な解釈の両方を示している。近年、自己教師付き対照表象学習法の成功を受けて、教師付き対照表象学習法が提案され、クロスエントロピー損失のみによる学習と比較して、よりロバストで優れた性能を示している。しかし、最終的な分類層を学習するためには、依然としてクロスエントロピー損失が必要である。本研究では、対比学習の頑健性とクロスエントロピー損失の確率的解釈を組み合わせた1つの目的関数を用いて、表現と分類器の両方を学習する可能性を検討する。まず、我々は以前に提案したクロスエントロピー損失を近似する対照学習に基づく目的関数を再検討し、分類器を共同で学習するための簡単な拡張を提示する。次に、分類器とネットワークのバックボーンのパラメータを共同で学習する、教師付き対照学習の新バージョンを提案する。我々は、提案する目的関数が、標準的なクロスエントロピー損失よりも、様々な困難な設定において、より学習の安定性と頑健性をもって、大きな改善を示すことを経験的に示す。

要約(オリジナル)

Cross entropy loss has served as the main objective function for classification-based tasks. Widely deployed for learning neural network classifiers, it shows both effectiveness and a probabilistic interpretation. Recently, after the success of self supervised contrastive representation learning methods, supervised contrastive methods have been proposed to learn representations and have shown superior and more robust performance, compared to solely training with cross entropy loss. However, cross entropy loss is still needed to train the final classification layer. In this work, we investigate the possibility of learning both the representation and the classifier using one objective function that combines the robustness of contrastive learning and the probabilistic interpretation of cross entropy loss. First, we revisit a previously proposed contrastive-based objective function that approximates cross entropy loss and present a simple extension to learn the classifier jointly. Second, we propose a new version of the supervised contrastive training that learns jointly the parameters of the classifier and the backbone of the network. We empirically show that our proposed objective functions show a significant improvement over the standard cross entropy loss with more training stability and robustness in various challenging settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL