Adaptive Discriminative Regularization for Visual Classification

要約

識別機能の学習を改善する方法は、分類の中心です。
既存の研究では、対照的な学習のために正と負のペアを構築するか、より厳密なクラス分離マージンを設定するかによって、クラス間の分離可能性とクラス内の類似性を明示的に高めることで、この問題に対処しています。
これらのメソッドは、i.i.d に準拠しているため、異なるクラス間の類似性を利用しません。
データの仮定。
このホワイト ペーパーでは、いくつかのクラスが類似した外観または概念のためにセマンティック オーバーラップを共有する現実世界のデータ分散設定を採用しています。
この仮説に関して、識別学習を改善するための新しい正則化を提案します。
最初に、意味的に隣接するクラスに基づいて 1 つのサンプルの推定された最高尤度を調整し、次に、適応指数ペナルティを課すことによって、全体的な尤度予測が決定論的であるようにします。
提案された方法の勾配は、予測された尤度の不確実性にほぼ比例するため、分類における標準的な交差エントロピー損失とともにトレーニングされた適応識別正則化 (ADR) と名付けます。
大規模な実験により、さまざまな視覚的分類タスク (10 を超えるベンチマーク) で一貫した重要なパフォーマンスの向上が得られることが実証されています。
さらに、ロングテールでノイズの多いラベル データ分布に対してロバストであることがわかります。
その柔軟な設計により、主流の分類アーキテクチャおよび損失との互換性が可能になります。

要約(オリジナル)

How to improve discriminative feature learning is central in classification. Existing works address this problem by explicitly increasing inter-class separability and intra-class similarity, whether by constructing positive and negative pairs for contrastive learning or posing tighter class separating margins. These methods do not exploit the similarity between different classes as they adhere to i.i.d. assumption in data. In this paper, we embrace the real-world data distribution setting that some classes share semantic overlaps due to their similar appearances or concepts. Regarding this hypothesis, we propose a novel regularization to improve discriminative learning. We first calibrate the estimated highest likelihood of one sample based on its semantically neighboring classes, then encourage the overall likelihood predictions to be deterministic by imposing an adaptive exponential penalty. As the gradient of the proposed method is roughly proportional to the uncertainty of the predicted likelihoods, we name it adaptive discriminative regularization (ADR), trained along with a standard cross entropy loss in classification. Extensive experiments demonstrate that it can yield consistent and non-trivial performance improvements in a variety of visual classification tasks (over 10 benchmarks). Furthermore, we find it is robust to long-tailed and noisy label data distribution. Its flexible design enables its compatibility with mainstream classification architectures and losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google