The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition

要約

ロングテール分布は、実際のアプリケーションで広く普及しています。
インスタンスの比率が非常に小さいため、テール カテゴリは精度が低くなることがよくあります。
このホワイトペーパーでは、このようなパフォーマンスのボトルネックは主に不均衡な勾配によって引き起こされることを発見しました。これは、(1) 同じカテゴリのサンプルに由来する正の部分と、(2) 他の要素によって寄与される負の部分の 2 つの部分に分類できます。
カテゴリ。
包括的な実験に基づいて、蓄積された陽性と陰性の勾配比が、カテゴリがどのように訓練されているかを測定するための優れた指標であることも観察されています。
これに着想を得て、ロングテールの問題に取り組むための勾配駆動型のトレーニング メカニズムを考え出しました。現在の累積勾配に従って正/負の勾配を動的に再調整し、勾配比のバランスを達成するという統一された目標を持っています。
シンプルで柔軟な勾配メカニズムを利用して、勾配駆動損失関数の新しいファミリ、つまり等化損失を導入します。
2 段階/1 段階のロングテール オブジェクト検出 (LVIS)、ロングテール画像分類 (ImageNet-LT、Places-LT、iNaturalist)、ロングテール画像分類など、幅広い視覚タスクに関する広範な実験を行っています。
セマンティック セグメンテーション (ADE20K)。
私たちの方法は一貫してベースラインモデルよりも優れており、提案された等化損失の有効性と一般化能力を示しています。
コードは https://github.com/ModelTC/United-Perception で公開されます。

要約(オリジナル)

Long-tail distribution is widely spread in real-world applications. Due to the extremely small ratio of instances, tail categories often show inferior accuracy. In this paper, we find such performance bottleneck is mainly caused by the imbalanced gradients, which can be categorized into two parts: (1) positive part, deriving from the samples of the same category, and (2) negative part, contributed by other categories. Based on comprehensive experiments, it is also observed that the gradient ratio of accumulated positives to negatives is a good indicator to measure how balanced a category is trained. Inspired by this, we come up with a gradient-driven training mechanism to tackle the long-tail problem: re-balancing the positive/negative gradients dynamically according to current accumulative gradients, with a unified goal of achieving balance gradient ratios. Taking advantage of the simple and flexible gradient mechanism, we introduce a new family of gradient-driven loss functions, namely equalization losses. We conduct extensive experiments on a wide spectrum of visual tasks, including two-stage/single-stage long-tailed object detection (LVIS), long-tailed image classification (ImageNet-LT, Places-LT, iNaturalist), and long-tailed semantic segmentation (ADE20K). Our method consistently outperforms the baseline models, demonstrating the effectiveness and generalization ability of the proposed equalization losses. Codes will be released at https://github.com/ModelTC/United-Perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google