TRBoost: A Generic Gradient Boosting Machine based on Trust-region Method

要約

タイトル：信頼領域法に基づく汎用勾配ブースティング機械TRBoost

要約：
– 勾配ブースティングマシン（GBMs）は、機能空間のテイラー展開を利用して、多様な問題を解決することで、卓越した成功を示してきた。
– ただし、パフォーマンスと汎用性のバランスを実現するのはGBMsにとって大きな課題であり、勾配降下法に基づくGBMsは、1次のテイラー展開を用いて、すべての損失関数に適用可能にしているのに対して、ニュートン法に基づくGBMsは、陽性ヘシアン情報を使用して、汎用性を犠牲にし、優れたパフォーマンスを実現している。
– この問題に対処するため、この研究では、新しい一般的なGradient Boosting MachineであるTrust-region Boosting（TRBoost）を提案する。
– 各反復で、TRBoostは制約付き二次モデルを使用して目的関数を近似し、信頼領域アルゴリズムを適用して新しい学習者を得る。
– Newton法に基づくGBMsとは異なり、TRBoostはヘシアンが正定値である必要がないため、任意の損失関数に適用でき、それでも2次元アルゴリズムと同等の競争力のあるパフォーマンスを維持できる。
– この研究で行われた収束解析と数値実験は、TRBoostが一次GBMsと同様に一般的で、2次GBMsと競合する結果を得ることを確認しており、TRBoostはパフォーマンスと汎用性のバランスを実現する有望な手法であり、機械学習実践者のツールキットに有用な追加になる。

要約(オリジナル)

Gradient Boosting Machines (GBMs) have demonstrated remarkable success in solving diverse problems by utilizing Taylor expansions in functional space. However, achieving a balance between performance and generality has posed a challenge for GBMs. In particular, gradient descent-based GBMs employ the first-order Taylor expansion to ensure applicability to all loss functions, while Newton’s method-based GBMs use positive Hessian information to achieve superior performance at the expense of generality. To address this issue, this study proposes a new generic Gradient Boosting Machine called Trust-region Boosting (TRBoost). In each iteration, TRBoost uses a constrained quadratic model to approximate the objective and applies the Trust-region algorithm to solve it and obtain a new learner. Unlike Newton’s method-based GBMs, TRBoost does not require the Hessian to be positive definite, thereby allowing it to be applied to arbitrary loss functions while still maintaining competitive performance similar to second-order algorithms. The convergence analysis and numerical experiments conducted in this study confirm that TRBoost is as general as first-order GBMs and yields competitive results compared to second-order GBMs. Overall, TRBoost is a promising approach that balances performance and generality, making it a valuable addition to the toolkit of machine learning practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI