On Newton Screening

要約

タイトル：Newton Screening

要約：

– 最適化問題のサイズを縮小するために、スクリーニングと作業セット技術は重要なアプローチである。
– 大規模な疎な学習問題を解決するための一次元法を加速するために広く使用されている。
– 本論文では、組み込みスクリーニングメカニズムを持つ一般化ニュートン法である「Newton Screening (NS)」という新しいスクリーニング方法を開発した。
– Lasso向けに等価KKTシステムを導出し、KKT方程式を解くために一般化ニュートン法を利用している。
– このKKTシステムに基づいて、前回の反復で生成された主変数と双対変数の和を使用して、比較的小さなサイズの組み込み作業セットを最初に決定する。
– 次に、最小二乗問題を解いて作業セットで主変数を更新し、閉形式式に基づいて双対変数を更新する。
– さらに、ウォームスタート戦略を使用したNewtonスクリーニングの逐次バージョン（SNS）を考慮する。
– NSは1ステップの局所収束を達成するという点で最適な収束特性を持つことを示し、機能行列に対するある条件の下で、SNSは真の目標と同じ符号を持つ解を打ち出し、高い確率で鋭い推定誤差の限界に到達する。
– シミュレーション実験や実データ解析が、理論的結果を支持し、比較研究においてSNSがより高速かつ正確であることを示している。

要約(オリジナル)

Screening and working set techniques are important approaches to reducing the size of an optimization problem. They have been widely used in accelerating first-order methods for solving large-scale sparse learning problems. In this paper, we develop a new screening method called Newton screening (NS) which is a generalized Newton method with a built-in screening mechanism. We derive an equivalent KKT system for the Lasso and utilize a generalized Newton method to solve the KKT equations. Based on this KKT system, a built-in working set with a relatively small size is first determined using the sum of primal and dual variables generated from the previous iteration, then the primal variable is updated by solving a least-squares problem on the working set and the dual variable updated based on a closed-form expression. Moreover, we consider a sequential version of Newton screening (SNS) with a warm-start strategy. We show that NS possesses an optimal convergence property in the sense that it achieves one-step local convergence. Under certain regularity conditions on the feature matrix, we show that SNS hits a solution with the same signs as the underlying true target and achieves a sharp estimation error bound with high probability. Simulation studies and real data analysis support our theoretical results and demonstrate that SNS is faster and more accurate than several state-of-the-art methods in our comparative studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI