Long-Tailed Learning as Multi-Objective Optimization

要約

現実世界のデータは非常に不均衡で、裾の長い分布を示しているため、モデルは十分なサンプルを持つクラスに偏り、まれなクラスではパフォーマンスが低下します。
最近の方法ではクラスのバランスを再調整することが提案されていますが、シーソーのジレンマを抱えています (末尾クラスのパフォーマンスを向上させると先頭クラスのパフォーマンスが低下する可能性があり、その逆も同様です)。
この論文では、シーソーのジレンマはさまざまなクラスの勾配の不均衡から派生し、不適切なクラスの勾配が更新に重要に設定されているため、末尾のクラスで過剰補償または不足補償が発生する傾向があると主張します。
理想的な補償を達成するために、ロングテール認識を多目的最適化問題として定式化し、ヘッドクラスとテールクラスの寄与を同時に公平に尊重します。
効率性を高めるために、同様の勾配方向を持つクラスを収集する勾配バランシング グループ化 (GBG) 戦略を提案します。これにより、すべての更新がほぼパレート降下方向に基づいて行われます。
GBG メソッドは、同様の勾配方向を持つクラスを駆動して、より代表的な勾配を形成し、末尾クラスに理想的な補償を提供します。
さらに、ロングテール学習で一般的に使用されるベンチマークについて広範な実験を実施し、既存の SOTA 手法に対する我々の手法の優位性を実証しました。

要約(オリジナル)

Real-world data is extremely imbalanced and presents a long-tailed distribution, resulting in models that are biased towards classes with sufficient samples and perform poorly on rare classes. Recent methods propose to rebalance classes but they undertake the seesaw dilemma (what is increasing performance on tail classes may decrease that of head classes, and vice versa). In this paper, we argue that the seesaw dilemma is derived from gradient imbalance of different classes, in which gradients of inappropriate classes are set to important for updating, thus are prone to overcompensation or undercompensation on tail classes. To achieve ideal compensation, we formulate the long-tailed recognition as an multi-objective optimization problem, which fairly respects the contributions of head and tail classes simultaneously. For efficiency, we propose a Gradient-Balancing Grouping (GBG) strategy to gather the classes with similar gradient directions, thus approximately make every update under a Pareto descent direction. Our GBG method drives classes with similar gradient directions to form more representative gradient and provide ideal compensation to the tail classes. Moreover, We conduct extensive experiments on commonly used benchmarks in long-tailed learning and demonstrate the superiority of our method over existing SOTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google