Sparse Gaussian Graphical Models with Discrete Optimization: Computational and Statistical Perspectives

要約

統計的機械学習の重要な問題である、無向ガウス グラフィカル モデルの基礎となるスパース グラフの学習の問題を検討します。
$p$ 変数を含む多変量ガウス分布からの $n$ サンプルが与えられた場合、目標は、$p \times p$ 逆共分散行列 (精度行列とも呼ばれます) を、それが疎である (つまり、ゼロ以外のエントリがいくつかある) と仮定して推定することです。
。
初期のアプローチのほとんどは $\ell_1$ 緩和に基づいているのに対し、我々は、疑似尤度関数の $\ell_0$ ペナルティ付きバージョンに基づく新しい推定器 GraphL0BnB を提案します。
私たちの推定器は、凸混合整数プログラム (MIP) として定式化できますが、市販のソルバーを使用して大規模に計算するのは難しい場合があります。
MIP を解決するために、調整された 1 次法でノード緩和を解決するカスタムの非線形分枝限定 (BnB) フレームワークを提案します。
BnB フレームワークの副産物として、独立した関心のある適切な主解を取得するための大規模ソルバーを提案します。
私たちは、推定量に対する新しい統計的保証 (推定と変数の選択) を導き出し、私たちのアプローチが既存の推定量をどのように改善するかを議論します。
実際の/合成データセットでの数値実験は、私たちの方法が $p = 10^4$ の問題インスタンスをほぼ最適に解決できることを示唆しています — $p^2 のサイズ $p \times p$ の対称行列に対応します
/2$ バイナリ変数。
さまざまなデータセットに対するさまざまな最先端のアプローチと比較した GraphL0BnB の有用性を実証します。

要約(オリジナル)

We consider the problem of learning a sparse graph underlying an undirected Gaussian graphical model, a key problem in statistical machine learning. Given $n$ samples from a multivariate Gaussian distribution with $p$ variables, the goal is to estimate the $p \times p$ inverse covariance matrix (aka precision matrix), assuming it is sparse (i.e., has a few nonzero entries). We propose GraphL0BnB, a new estimator based on an $\ell_0$-penalized version of the pseudolikelihood function, while most earlier approaches are based on the $\ell_1$-relaxation. Our estimator can be formulated as a convex mixed integer program (MIP) which can be difficult to compute at scale using off-the-shelf commercial solvers. To solve the MIP, we propose a custom nonlinear branch-and-bound (BnB) framework that solves node relaxations with tailored first-order methods. As a by-product of our BnB framework, we propose large-scale solvers for obtaining good primal solutions that are of independent interest. We derive novel statistical guarantees (estimation and variable selection) for our estimator and discuss how our approach improves upon existing estimators. Our numerical experiments on real/synthetic datasets suggest that our method can solve, to near-optimality, problem instances with $p = 10^4$ — corresponding to a symmetric matrix of size $p \times p$ with $p^2/2$ binary variables. We demonstrate the usefulness of GraphL0BnB versus various state-of-the-art approaches on a range of datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google