How to Boost Any Loss Function

要約

ブースティングは、ML 生まれの最適化設定で非常に成功しています。この設定では、弱学習器オラクルへのアクセスに基づいて、任意の適切なモデルを計算的に効率的に学習する必要があり、ランダムな推測とは少なくともわずかに異なるパフォーマンスを示す分類器を提供します。
勾配ベースの最適化との主な違いは、ブースティングの元のモデルは損失に関する一次情報へのアクセスを必要としないことですが、ブースティングの数十年にわたる長い歴史により、ブースティングはすぐに一次最適化設定に進化しました。場合によっては、誤って \textit{
それをそのように定義します。
最近の進歩により、学習に損失のゼロ次 ($0^{th}$) 次数情報のみを使用するように勾配ベースの最適化が拡張されたため、ブースティングでどのような損失関数を効率的に最適化できるのか、そして本当に必要な情報は何なのかという疑問が生じています。
\textit{original} ブースト ブループリントの要件を満たすためにブーストするにはどうすればよいですか?
私たちは、基本的に \textit{any} 損失関数がブースティングで最適化できること、つまり損失関数は
凸である必要も、微分可能である必要も、リプシッツである必要もありません。実際、連続である必要もありません。
私たちが使用するツールの中には、量子微積分に根ざしたものがあります。量子計算と混同しないでください。限界に達することなく、したがって一次情報を使用せずに微積分を研究する数学分野です。

要約(オリジナル)

Boosting is a highly successful ML-born optimization setting in which one is required to computationally efficiently learn arbitrarily good models based on the access to a weak learner oracle, providing classifiers performing at least slightly differently from random guessing. A key difference with gradient-based optimization is that boosting’s original model does not requires access to first order information about a loss, yet the decades long history of boosting has quickly evolved it into a first order optimization setting — sometimes even wrongfully \textit{defining} it as such. Owing to recent progress extending gradient-based optimization to use only a loss’ zeroth ($0^{th}$) order information to learn, this begs the question: what loss functions can be efficiently optimized with boosting and what is the information really needed for boosting to meet the \textit{original} boosting blueprint’s requirements? We provide a constructive formal answer essentially showing that \textit{any} loss function can be optimized with boosting and thus boosting can achieve a feat not yet known to be possible in the classical $0^{th}$ order setting, since loss functions are not required to be be convex, nor differentiable or Lipschitz — and in fact not required to be continuous either. Some tools we use are rooted in quantum calculus, the mathematical field — not to be confounded with quantum computation — that studies calculus without passing to the limit, and thus without using first order information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google