Cyclical Focal Loss

要約

クロスエントロピーソフトマックス損失は、深いニューラルネットワークをトレーニングするために使用される主要な損失関数です。
一方、焦点損失関数は、ロングテールデータセットなど、各クラスのトレーニングサンプルの数に不均衡がある場合に、パフォーマンスが向上することが実証されています。
この論文では、新しい周期的焦点損失を紹介し、それがクロスエントロピーソフトマックス損失または焦点損失よりも普遍的な損失関数であることを示します。
周期的焦点損失の背後にある直感について説明し、実験により、周期的焦点損失がバランスの取れた、不均衡な、またはロングテールのデータセットに対して優れたパフォーマンスを提供するという証拠が得られます。
CIFAR-10 / CIFAR-100、ImageNet、CIFAR-10 / CIFAR-100のバランスおよびアンバランス4,000トレーニングサンプルバージョン、およびOpen Long-Tailed Recognition（OLTR）のImageNet-LTおよびPlaces-LTの多数の実験結果を提供します。
チャレンジ。
周期的焦点損失関数を実装するには、数行のコードしか必要とせず、トレーニング時間を増やすことはありません。
再現性の精神で、私たちのコードは\url{https://github.com/lnsmith54/CFL}で入手できます。

要約(オリジナル)

The cross-entropy softmax loss is the primary loss function used to train deep neural networks. On the other hand, the focal loss function has been demonstrated to provide improved performance when there is an imbalance in the number of training samples in each class, such as in long-tailed datasets. In this paper, we introduce a novel cyclical focal loss and demonstrate that it is a more universal loss function than cross-entropy softmax loss or focal loss. We describe the intuition behind the cyclical focal loss and our experiments provide evidence that cyclical focal loss provides superior performance for balanced, imbalanced, or long-tailed datasets. We provide numerous experimental results for CIFAR-10/CIFAR-100, ImageNet, balanced and imbalanced 4,000 training sample versions of CIFAR-10/CIFAR-100, and ImageNet-LT and Places-LT from the Open Long-Tailed Recognition (OLTR) challenge. Implementing the cyclical focal loss function requires only a few lines of code and does not increase training time. In the spirit of reproducibility, our code is available at \url{https://github.com/lnsmith54/CFL}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google