Conditional Matrix Flows for Gaussian Graphical Models

要約

観測値がほとんどない多くの変数間の条件付き独立性を研究することは、困難な作業です。
ガウス グラフィカル モデル (GGM) は、$q\leq1$ による $l_q$ 正則化を通じて精度行列のスパース性を促進することで、この問題に取り組みます。
ただし、$l_1$ 未満の擬似ノルムでは目的が高度に非凸であるため、ほとんどの GMM は $l_1$ ノルムに依存します。
頻度主義的定式化では、$l_1$ ノルム緩和は、収縮パラメーター $\lambda$ の関数として解経路を提供します。
ベイズ定式化では、代わりに事前ラプラスを通じてスパース性が促進されますが、異なる $\lambda$ の事後推論には高価なギブズ サンプラーを繰り返し実行する必要があります。
ここでは、頻度主義フレームワークとベイズ主義フレームワークの利点を統合する、GGM の行列変量正規化フローを使用した変分推論の一般的なフレームワークを提案します。
以前の研究の重要な改良点として、すべての正則化パラメータ $\lambda$ と、非凸のサブ $l_1$ 擬似ノルムを含むすべての $l_q$ ノルムに対して、一連のスパース回帰モデルを 1 つのフローで共同でトレーニングします。
したがって、1 つのモデル内で、(i) 任意の $\lambda$ および任意の $l_q$ (擬似) ノルムの事後発展、(ii) モデル選択の周辺対数尤度、および (iii)
MAP 制限でのシミュレーテッド アニーリングによる頻度主義的な解法パス。

要約(オリジナル)

Studying conditional independence among many variables with few observations is a challenging task. Gaussian Graphical Models (GGMs) tackle this problem by encouraging sparsity in the precision matrix through $l_q$ regularization with $q\leq1$. However, most GMMs rely on the $l_1$ norm because the objective is highly non-convex for sub-$l_1$ pseudo-norms. In the frequentist formulation, the $l_1$ norm relaxation provides the solution path as a function of the shrinkage parameter $\lambda$. In the Bayesian formulation, sparsity is instead encouraged through a Laplace prior, but posterior inference for different $\lambda$ requires repeated runs of expensive Gibbs samplers. Here we propose a general framework for variational inference with matrix-variate Normalizing Flow in GGMs, which unifies the benefits of frequentist and Bayesian frameworks. As a key improvement on previous work, we train with one flow a continuum of sparse regression models jointly for all regularization parameters $\lambda$ and all $l_q$ norms, including non-convex sub-$l_1$ pseudo-norms. Within one model we thus have access to (i) the evolution of the posterior for any $\lambda$ and any $l_q$ (pseudo-) norm, (ii) the marginal log-likelihood for model selection, and (iii) the frequentist solution paths through simulated annealing in the MAP limit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google