Minimax and Communication-Efficient Distributed Best Subset Selection with Oracle Property

要約

金融、電子商取引、ソーシャルメディアなどの分野における大規模データの爆発的な増加により、単一マシンシステムの処理能力を超え、分散型統計推論手法の必要性が高まっています。
分散推論への従来のアプローチでは、高次元のデータセットで真のスパース性を実現することが困難であり、高い計算コストがかかります。
これらの問題に対処するために、新しい 2 段階の分散型最適サブセット選択アルゴリズムを提案します。
私たちのアプローチは、$\ell_0$ ノルム制約付き代理尤度関数を遵守しながらアクティブ セットを効率的に推定することから始まり、効果的に次元を削減し、主要な変数を分離します。
次に、アクティブ セット内の洗練された推定が行われ、スパースな推定が保証され、最小 $\ell_2$ 誤差限界と一致します。
$\ell_0$ 制約と一般化情報量基準 (GIC) の下で部分問題に取り組むための適応パラメータ選択のための新しいスプライシング手法を導入します。
私たちの理論的および数値的研究は、提案されたアルゴリズムが真のスパースパターンを正確に見つけ出し、神託の性質を持ち、通信コストを大幅に削減することを示しています。
これは分散スパース推定における大きな前進です。

要約(オリジナル)

The explosion of large-scale data in fields such as finance, e-commerce, and social media has outstripped the processing capabilities of single-machine systems, driving the need for distributed statistical inference methods. Traditional approaches to distributed inference often struggle with achieving true sparsity in high-dimensional datasets and involve high computational costs. We propose a novel, two-stage, distributed best subset selection algorithm to address these issues. Our approach starts by efficiently estimating the active set while adhering to the $\ell_0$ norm-constrained surrogate likelihood function, effectively reducing dimensionality and isolating key variables. A refined estimation within the active set follows, ensuring sparse estimates and matching the minimax $\ell_2$ error bound. We introduce a new splicing technique for adaptive parameter selection to tackle subproblems under $\ell_0$ constraints and a Generalized Information Criterion (GIC). Our theoretical and numerical studies show that the proposed algorithm correctly finds the true sparsity pattern, has the oracle property, and greatly lowers communication costs. This is a big step forward in distributed sparse estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google