A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent

要約

正則化パスに沿った一般化線形モデルのグループ ラッソとグループ弾性ネットを解くための、ブロック座標降下に基づいた高速でスケーラブルなアルゴリズムを開発します。
損失が通常の最小二乗損失 (ガウス損失) である場合には、特別な注意が払われます。
各ブロック座標の更新はニュートン法を使用して効率的に解決でき、適応二分法を使用してさらに改善され、二次収束率でこれらの更新を解決できることを示します。
私たちのベンチマークでは、パッケージ adelie が、シミュレートされたデータセットと実際のデータセットの両方で、次に速いパッケージよりも 3 ～ 10 倍高速に実行されることが示されています。
さらに、私たちのパッケージが競争力のある投げ縄ソルバーでもあり、人気のある投げ縄パッケージ glmnet のパフォーマンスに匹敵することを示します。

要約(オリジナル)

We develop fast and scalable algorithms based on block-coordinate descent to solve the group lasso and the group elastic net for generalized linear models along a regularization path. Special attention is given when the loss is the usual least squares loss (Gaussian loss). We show that each block-coordinate update can be solved efficiently using Newton’s method and further improved using an adaptive bisection method, solving these updates with a quadratic convergence rate. Our benchmarks show that our package adelie performs 3 to 10 times faster than the next fastest package on a wide array of both simulated and real datasets. Moreover, we demonstrate that our package is a competitive lasso solver as well, matching the performance of the popular lasso package glmnet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google