TRBoost: A Generic Gradient Boosting Machine based on Trust-region Method

要約

タイトル: 信頼領域法に基づく一般的な勾配ブースティングマシン「TRBoost」

要約:

– 勾配ブースティングマシン（GBMs）は、関数空間でのテイラー展開を利用して多様な問題解決で注目される成功を収めてきた。
– しかし、性能と汎用性のバランスを実現することは、GBMsにとって課題であった。
– 特に、勾配降下法に基づくGBMsは、すべての損失関数に適用可能性を保証するために一次テイラー展開を使用し、ニュートン法に基づくGBMsは汎用性を犠牲にして優れた性能を発揮するために正のヘシアン情報を使用する。
– この問題に対処するために、本研究では、制約付き二次モデルを使用して目的関数を近似し、信頼領域アルゴリズムを適用して新しい学習器を得る、新しい一般的な勾配ブースティングマシン「TRBoost」を提案する。
– TRBoostは、ニュートン法に基づくGBMsとは異なり、ヘシアンが正定義である必要がなく、任意の損失関数に適用できるため、1次のGBMsと同様に汎用性があるが、2次のアルゴリズムと競合する性能を維持できる。
– 本研究で行われた収束分析と数値実験は、TRBoostが1次のGBMsと同様に一般的であり、2次のGBMsと競合する結果を生み出すことを確認している。
– TRBoostは、性能と汎用性のバランスを実現する有望な手法であり、機械学習の実践者のツールキットに貴重な追加になる。

要約(オリジナル)

Gradient Boosting Machines (GBMs) have demonstrated remarkable success in solving diverse problems by utilizing Taylor expansions in functional space. However, achieving a balance between performance and generality has posed a challenge for GBMs. In particular, gradient descent-based GBMs employ the first-order Taylor expansion to ensure applicability to all loss functions, while Newton’s method-based GBMs use positive Hessian information to achieve superior performance at the expense of generality. To address this issue, this study proposes a new generic Gradient Boosting Machine called Trust-region Boosting (TRBoost). In each iteration, TRBoost uses a constrained quadratic model to approximate the objective and applies the Trust-region algorithm to solve it and obtain a new learner. Unlike Newton’s method-based GBMs, TRBoost does not require the Hessian to be positive definite, thereby allowing it to be applied to arbitrary loss functions while still maintaining competitive performance similar to second-order algorithms. The convergence analysis and numerical experiments conducted in this study confirm that TRBoost is as general as first-order GBMs and yields competitive results compared to second-order GBMs. Overall, TRBoost is a promising approach that balances performance and generality, making it a valuable addition to the toolkit of machine learning practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI