Adaptive Discriminative Regularization for Visual Classification

要約

識別特徴の学習をどのように改善するかは、分類の中心的な課題である。既存の研究は、クラス間の分離可能性とクラス内の類似性を明示的に高めることで、この問題に取り組んでいる。それは、対比学習のために正と負のペアを構成したり、クラス分離マージンを厳しくしたりすることである。しかし、これらの手法は、データにおけるi.i.d.仮定に準拠しているため、異なるクラス間の類似性を利用することができない。本論文では、あるクラスが類似した外観や概念のために意味的に重複しているという実世界のデータ分布の設定を取り入れる。この仮説に基づき、我々は識別学習を改善するための新しい正則化を提案する。まず、あるサンプルの推定最高尤度を意味的に隣接するクラスに基づいて校正し、次に適応的な指数ペナルティを課すことで全体の尤度予測が決定論的であるように促す。提案手法の勾配は予測尤度の不確実性にほぼ比例するため、我々はこれを適応的識別正則化(ADR)と名付け、分類における標準的クロスエントロピー損失と共に学習させる。広範な実験により、様々な視覚分類タスク（10以上のベンチマーク）において、一貫した自明でない性能向上が得られることが実証された。さらに、ロングテールやノイズの多いラベルデータ分布に対してもロバストであることがわかった。また、その柔軟な設計により、主流の分類アーキテクチャや損失との互換性を実現している。

要約(オリジナル)

How to improve discriminative feature learning is central in classification. Existing works address this problem by explicitly increasing inter-class separability and intra-class similarity, whether by constructing positive and negative pairs for contrastive learning or posing tighter class separating margins. These methods do not exploit the similarity between different classes as they adhere to i.i.d. assumption in data. In this paper, we embrace the real-world data distribution setting that some classes share semantic overlaps due to their similar appearances or concepts. Regarding this hypothesis, we propose a novel regularization to improve discriminative learning. We first calibrate the estimated highest likelihood of one sample based on its semantically neighboring classes, then encourage the overall likelihood predictions to be deterministic by imposing an adaptive exponential penalty. As the gradient of the proposed method is roughly proportional to the uncertainty of the predicted likelihoods, we name it adaptive discriminative regularization (ADR), trained along with a standard cross entropy loss in classification. Extensive experiments demonstrate that it can yield consistent and non-trivial performance improvements in a variety of visual classification tasks (over 10 benchmarks). Furthermore, we find it is robust to long-tailed and noisy label data distribution. Its flexible design enables its compatibility with mainstream classification architectures and losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL