Class-attribute Priors: Adapting Optimization to Heterogeneity and Fairness Objective

要約

最新の分類問題では、個々のクラス間で不均一性が見られます。各クラスには、サンプル サイズ、ラベルの品質、予測可能性 (簡単か難しいか)、テスト時の可変重要度などの固有の属性がある場合があります。
注意しないと、これらの異質性は、特に公平性の目標を最適化する際に、学習プロセスを妨げます。
これを裏付けるために、ガウス混合設定の下で、バランスの取れた精度を実現する最適な SVM 分類器がクラス属性に適応する必要があることを示します。
これが私たちが CAP を提案する動機となっています。CAP は、クラスの属性に基づいてクラス固有の学習戦略 (ハイパーパラメータなど) を生成する効果的で一般的な方法です。
このようにして、最適化プロセスは異質性によりよく適応します。
CAP は、各クラスに個別のハイパーパラメータを割り当てる単純なアプローチに比べて、大幅な改善につながります。
ラベルの不均衡問題に重点を置き、損失関数設計と事後ロジット調整のために CAP をインスタンス化します。
我々は、CAP が従来技術と競争力があり、その柔軟性がバランスの取れた精度を超えて公平性の目的に明確な利点をもたらすことを示します。
最後に、ラベル ノイズの問題と加重テスト目標に関して CAP を評価し、CAP がさまざまな異質性にどのように共同して適応できるかを示します。

要約(オリジナル)

Modern classification problems exhibit heterogeneities across individual classes: Each class may have unique attributes, such as sample size, label quality, or predictability (easy vs difficult), and variable importance at test-time. Without care, these heterogeneities impede the learning process, most notably, when optimizing fairness objectives. Confirming this, under a gaussian mixture setting, we show that the optimal SVM classifier for balanced accuracy needs to be adaptive to the class attributes. This motivates us to propose CAP: An effective and general method that generates a class-specific learning strategy (e.g. hyperparameter) based on the attributes of that class. This way, optimization process better adapts to heterogeneities. CAP leads to substantial improvements over the naive approach of assigning separate hyperparameters to each class. We instantiate CAP for loss function design and post-hoc logit adjustment, with emphasis on label-imbalanced problems. We show that CAP is competitive with prior art and its flexibility unlocks clear benefits for fairness objectives beyond balanced accuracy. Finally, we evaluate CAP on problems with label noise as well as weighted test objectives to showcase how CAP can jointly adapt to different heterogeneities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google