GBM-based Bregman Proximal Algorithms for Constrained Learning

要約

学習タスクの複雑さが急増するにつれて、現代の機械学習は、より複雑でデータ駆動型の関数制約を特徴とする新しい制約付き学習パラダイムに遭遇しています。
著名なアプリケーションには、Neyman-Pearson 分類 (NPC) や公平性分類が含まれます。これらは、標準的な投影ベースのトレーニング アルゴリズムを不適切にする特定のリスク制約を伴います。
勾配ブースティング マシン (GBM) は、教師あり学習で最も人気のあるアルゴリズムの 1 つです。
ただし、通常は制約のない設定に限定されます。
この論文では、ブレグマン近似アルゴリズムのフレームワーク内で GBM を制約付き学習タスクに適応させます。
学習目的関数と制約関数が凸である場合に、大域的な最適性が保証される新しいブレグマン主双対法を導入します。
非凸関数の場合、ブレグマン近位点フレームワークの下でアルゴリズムがどのように効果を維持するかを示します。
既存の制約付き学習アルゴリズムとは異なり、私たちのアルゴリズムは、XGBoost (Chen および Guestrin、2016) や LightGBM (Ke et al.、2017) などの公開されている GBM 実装とシームレスに統合でき、パブリック インターフェイスのみに依存するという独自の利点を備えています。
。
ブレグマン アルゴリズム フレームワークの有効性を示すための実質的な実験的証拠を提供します。
私たちの主な焦点は NPC と公平性 ML ですが、私たちのフレームワークは、より広範囲の制約付き学習アプリケーションに大きな可能性を秘めています。
ソース コードは現在、https://github.com/zhenweilin/ConstrainedGBM}{https://github.com/zhenweilin/ConstrainedGBM から無料で入手できます。

要約(オリジナル)

As the complexity of learning tasks surges, modern machine learning encounters a new constrained learning paradigm characterized by more intricate and data-driven function constraints. Prominent applications include Neyman-Pearson classification (NPC) and fairness classification, which entail specific risk constraints that render standard projection-based training algorithms unsuitable. Gradient boosting machines (GBMs) are among the most popular algorithms for supervised learning; however, they are generally limited to unconstrained settings. In this paper, we adapt the GBM for constrained learning tasks within the framework of Bregman proximal algorithms. We introduce a new Bregman primal-dual method with a global optimality guarantee when the learning objective and constraint functions are convex. In cases of nonconvex functions, we demonstrate how our algorithm remains effective under a Bregman proximal point framework. Distinct from existing constrained learning algorithms, ours possess a unique advantage in their ability to seamlessly integrate with publicly available GBM implementations such as XGBoost (Chen and Guestrin, 2016) and LightGBM (Ke et al., 2017), exclusively relying on their public interfaces. We provide substantial experimental evidence to showcase the effectiveness of the Bregman algorithm framework. While our primary focus is on NPC and fairness ML, our framework holds significant potential for a broader range of constrained learning applications. The source code is currently freely available at https://github.com/zhenweilin/ConstrainedGBM}{https://github.com/zhenweilin/ConstrainedGBM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google