Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts

要約

タイトル：異種類似性を利用した分布シフトに対する教師あり対比学習

要約：分布シフトは、訓練データとテストデータの分布が異なる場合に生じる問題であり、現実世界でモデルを展開する際に性能を著しく低下させることがある。最近の研究では、この低下の原因の一つは過学習の一種であり、ニューラルネットワークのように高度に代表的なモデルを使用する場合には、適切な正則化が低下を緩和することができると示唆されている。本論文では、教師あり対比学習を使用してこの過学習を防ぎ、分布シフト下でも性能を低下させないモデルをトレーニングするための新しい正則化を提案する。対比損失でのコサイン類似度をより一般的な類似性尺度に拡張し、ポジティブまたはネガティブの例と比較する場合に異なるパラメーターを使用することを提案し、そのような類似性尺度が対比損失において種類のようなマージンとして機能することを解析的に示す。分布シフトを模擬したベンチマークデータセットでの実験、特にサブポピュレーションシフトおよびドメインジェネラリゼーションにおいて、提案手法が従来の正則化手法よりも優れていることが示されている。

– 分布シフトによるモデルの性能低下を防ぐために教師あり対比学習を使用した新しい正則化を提案
– 正則化において、ポジティブまたはネガティブの例と比較する場合に異なるパラメーターを使用し、類似性尺度が種類のようなマージンとして機能することを示唆
– 分布シフトを模擬したベンチマークデータセットでの実験において、提案手法が従来の正則化手法よりも優れていることが示された

要約(オリジナル)

Distribution shifts are problems where the distribution of data changes between training and testing, which can significantly degrade the performance of a model deployed in the real world. Recent studies suggest that one reason for the degradation is a type of overfitting, and that proper regularization can mitigate the degradation, especially when using highly representative models such as neural networks. In this paper, we propose a new regularization using the supervised contrastive learning to prevent such overfitting and to train models that do not degrade their performance under the distribution shifts. We extend the cosine similarity in contrastive loss to a more general similarity measure and propose to use different parameters in the measure when comparing a sample to a positive or negative example, which is analytically shown to act as a kind of margin in contrastive loss. Experiments on benchmark datasets that emulate distribution shifts, including subpopulation shift and domain generalization, demonstrate the advantage of the proposed method over existing regularization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI