2nd Place Solution for ICCV 2021 VIPriors Image Classification Challenge: An Attract-and-Repulse Learning Approach

要約

畳み込みニューラルネットワーク（CNN）は、大規模なデータセットを利用することにより、画像分類で大きな成功を収めています。
ただし、小規模なデータセットを効率的かつ効果的にゼロから学習することは、依然として大きな課題です。
トレーニングデータセットが限られている場合、パラメーターが多すぎるCNNはデータセットを単純に記憶する傾向があり、一般化能力が低下するため、カテゴリの概念はあいまいになります。
したがって、過剰適合を回避しながら、より識別力のある表現を学習する方法を研究することが重要です。
カテゴリの概念はあいまいになる傾向があるため、より個人的な情報を取得することが重要です。
したがって、特徴表現を強化するための対照正則化（CR）、さまざまなクラスのフィッティングのバランスをとるための対称クロスエントロピー（SCE）、およびラベル情報を調整するための平均教師で構成される、引き付けと反発と呼ばれる新しいフレームワークを提案します。
具体的には、SCEとCRは、クラスの情報（引き付ける）とインスタンスの情報（反発）の間の適応的なトレードオフによって過剰適合を軽減しながら、識別表現を学習します。
その後、Mean Teacherを使用して、より正確なソフト疑似ラベルを調整することにより、パフォーマンスをさらに向上させます。
十分な実験により、Attract-and-Repulseフレームワークの有効性が検証されます。
積極的なデータ拡張、TenCrop推論、モデルアンサンブルなどの他の戦略とともに、ICCV 2021 VIPriors ImageClassificationChallengeで2位を獲得しました。

要約(オリジナル)

Convolutional neural networks (CNNs) have achieved significant success in image classification by utilizing large-scale datasets. However, it is still of great challenge to learn from scratch on small-scale datasets efficiently and effectively. With limited training datasets, the concepts of categories will be ambiguous since the over-parameterized CNNs tend to simply memorize the dataset, leading to poor generalization capacity. Therefore, it is crucial to study how to learn more discriminative representations while avoiding over-fitting. Since the concepts of categories tend to be ambiguous, it is important to catch more individual-wise information. Thus, we propose a new framework, termed Attract-and-Repulse, which consists of Contrastive Regularization (CR) to enrich the feature representations, Symmetric Cross Entropy (SCE) to balance the fitting for different classes and Mean Teacher to calibrate label information. Specifically, SCE and CR learn discriminative representations while alleviating over-fitting by the adaptive trade-off between the information of classes (attract) and instances (repulse). After that, Mean Teacher is used to further improve the performance via calibrating more accurate soft pseudo labels. Sufficient experiments validate the effectiveness of the Attract-and-Repulse framework. Together with other strategies, such as aggressive data augmentation, TenCrop inference, and models ensembling, we achieve the second place in ICCV 2021 VIPriors Image Classification Challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google