RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness

要約

有名なMixup[Zhanget al。、2018]を唯一の学習目標として使用する代わりに、標準のクロスエントロピー損失に対する追加の正則化として使用すると、その有効性をさらに改善できることを示します。
この単純な変更により、精度が大幅に向上するだけでなく、さまざまな形式の共変量シフトおよび分布外検出実験の下で、ほとんどの場合、Mixupの予測不確実性推定の品質が大幅に向上します。
実際、経験的に示したように、Mixupは、全体にわたって高エントロピーを示すモデルを学習する傾向があるため、分布外のサンプルを検出する際のパフォーマンスが大幅に低下することがわかります。
配布中のサンプルと配布外のサンプルを区別することが困難になります。
私たちのアプローチ（RegMixup）の有効性を示すために、ビジョンデータセット（ImageNet＆CIFAR-10 / 100）の徹底的な分析と実験を提供し、信頼できる不確実性推定のための一連の最近のアプローチと比較します。

要約(オリジナル)

We show that the effectiveness of the well celebrated Mixup [Zhang et al., 2018] can be further improved if instead of using it as the sole learning objective, it is utilized as an additional regularizer to the standard cross-entropy loss. This simple change not only provides much improved accuracy but also significantly improves the quality of the predictive uncertainty estimation of Mixup in most cases under various forms of covariate shifts and out-of-distribution detection experiments. In fact, we observe that Mixup yields much degraded performance on detecting out-of-distribution samples possibly, as we show empirically, because of its tendency to learn models that exhibit high-entropy throughout; making it difficult to differentiate in-distribution samples from out-distribution ones. To show the efficacy of our approach (RegMixup), we provide thorough analyses and experiments on vision datasets (ImageNet & CIFAR-10/100) and compare it with a suite of recent approaches for reliable uncertainty estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google