Scalable First-order Method for Certifying Optimal k-Sparse GLMs

要約

このペーパーでは、スパース一般化線形モデル（GLMS）の最適性を証明する問題を調査します。ここでは、$ \ ell_0 $のカーディナリティ制約を通じてスパースが施行されます。
ブランチアンドバウンド（BNB）フレームワークは、デュアル境界を使用してノードを剪定することにより最適性を証明できますが、これらの境界を計算するための既存の方法は、計算的に集中的であるか、ゆっくりと収束を示し、スケーラビリティを大規模な問題に制限します。
この課題に対処するために、BNBフレームワーク内の問題の視点緩和を解決するために設計された1次近位勾配アルゴリズムを提案します。
具体的には、緩和された問題を複合最適化の問題として定式化し、非スムースコンポーネントの近位演算子が対数線形時間の複雑さで正確に計算できることを実証し、計算高価な2次コーンプログラムを解決する必要性を排除します。
さらに、収束速度を強化しながら、投与ごとの複雑さを維持しながら、簡単な再起動戦略を導入します。
合成および現実世界のデータセットに関する広範な実験は、このアプローチが二重結合計算を大幅に加速し、大規模な問題の最適性証明書を提供するのに非常に効果的であることを示しています。

要約(オリジナル)

This paper investigates the problem of certifying optimality for sparse generalized linear models (GLMs), where sparsity is enforced through an $\ell_0$ cardinality constraint. While branch-and-bound (BnB) frameworks can certify optimality by pruning nodes using dual bounds, existing methods for computing these bounds are either computationally intensive or exhibit slow convergence, limiting their scalability to large-scale problems. To address this challenge, we propose a first-order proximal gradient algorithm designed to solve the perspective relaxation of the problem within a BnB framework. Specifically, we formulate the relaxed problem as a composite optimization problem and demonstrate that the proximal operator of the non-smooth component can be computed exactly in log-linear time complexity, eliminating the need to solve a computationally expensive second-order cone program. Furthermore, we introduce a simple restart strategy that enhances convergence speed while maintaining low per-iteration complexity. Extensive experiments on synthetic and real-world datasets show that our approach significantly accelerates dual bound computations and is highly effective in providing optimality certificates for large-scale problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google