Additive Model Boosting: New Insights and Path(ologie)s

要約

アディティブモデル（AMS）は最近、機械学習に多くの関心を集めており、解釈可能な構造を幅広いモデルクラスに組み込むことができます。
多種多様な潜在的に複雑な添加剤モデルに適合するために多くの一般的に使用されているアプローチは、添加モデルを高めるという考えに基づいて構築されています。
ブーストされた添加剤モデル（BAMS）は実際にはうまく機能しますが、一般的な収束行動や、ブーストの暗黙の正規化の性質を考慮したときに最適化の問題が解決される場合、特定の理論的側面はまだよく理解されていません。
この作業では、BAMSのソリューションパスを研究し、特定のクラスの問題に対する他のアプローチとのつながりを確立します。
これらの線に沿って、BAMSの新しい収束結果を導き出します。これにより、メソッドの内側の仕組みに重要な洞察が得られます。
私たちの結果は一般に、BAMSの実際的な使用に関する心強い理論的証拠を提供しますが、実際には注意を必要とする収束挙動に関する特定の加法モデルクラスのブーストの「病理」を明らかにします。
いくつかの数値実験を通じて、理論的発見を経験的に検証します。

要約(オリジナル)

Additive models (AMs) have sparked a lot of interest in machine learning recently, allowing the incorporation of interpretable structures into a wide range of model classes. Many commonly used approaches to fit a wide variety of potentially complex additive models build on the idea of boosting additive models. While boosted additive models (BAMs) work well in practice, certain theoretical aspects are still poorly understood, including general convergence behavior and what optimization problem is being solved when accounting for the implicit regularizing nature of boosting. In this work, we study the solution paths of BAMs and establish connections with other approaches for certain classes of problems. Along these lines, we derive novel convergence results for BAMs, which yield crucial insights into the inner workings of the method. While our results generally provide reassuring theoretical evidence for the practical use of BAMs, they also uncover some “pathologies” of boosting for certain additive model classes concerning their convergence behavior that require caution in practice. We empirically validate our theoretical findings through several numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google