CoLiDE: Concomitant Linear DAG Estimation

要約

線形構造方程式モデル (SEM) に付属する観測データから有向非巡回グラフ (DAG) 構造を学習する組み合わせ問題を扱います。
非巡回性の微分可能な非凸特性化の進歩を活用して、最近の取り組みでは、DAG の空間を効率的に探索するための連続制約付き最適化パラダイムを提唱しています。
既存の方法のほとんどは、この検索をガイドするためになげなわタイプのスコア関数を採用していますが、これには (i) $\textit{unknown}$ SEM ノイズ分散が問題インスタンス間で変化する場合、高価なペナルティ パラメータの再調整が必要です。
(ii) 制限等分散性の仮定に暗黙的に依存します。
この研究では、線形 DAG のスパース性を意識した学習のための新しい凸スコア関数を提案します。この関数には、スケールの推定が組み込まれているため、スパース性パラメーターが外因性ノイズ レベルから効果的に切り離されます。
滑らかな非凸非巡回ペナルティ項による正則化により、回帰ベースの CoLiDE ($\textbf{Co}$ncomitant $\textbf{Li}$near $\textbf{D}$AG $\textbf{E}$stimation) が得られます。
この基準は、不均一分散シナリオにおける効率的な勾配計算とノイズ分散の閉形式推定に適しています。
私たちのアルゴリズムは、特に DAG が大きく、ノイズ レベル プロファイルが不均一な場合に、複雑さを増すことなく最先端の手法を上回ります。
また、CoLiDE は、いくつかのドメイン固有のメトリックにおける標準偏差の減少を通じて明らかな安定性の向上を示しており、新しい線形 DAG 推定量の堅牢性が強調されています。

要約(オリジナル)

We deal with the combinatorial problem of learning directed acyclic graph (DAG) structure from observational data adhering to a linear structural equation model (SEM). Leveraging advances in differentiable, nonconvex characterizations of acyclicity, recent efforts have advocated a continuous constrained optimization paradigm to efficiently explore the space of DAGs. Most existing methods employ lasso-type score functions to guide this search, which (i) require expensive penalty parameter retuning when the $\textit{unknown}$ SEM noise variances change across problem instances; and (ii) implicitly rely on limiting homoscedasticity assumptions. In this work, we propose a new convex score function for sparsity-aware learning of linear DAGs, which incorporates concomitant estimation of scale and thus effectively decouples the sparsity parameter from the exogenous noise levels. Regularization via a smooth, nonconvex acyclicity penalty term yields CoLiDE ($\textbf{Co}$ncomitant $\textbf{Li}$near $\textbf{D}$AG $\textbf{E}$stimation), a regression-based criterion amenable to efficient gradient computation and closed-form estimation of noise variances in heteroscedastic scenarios. Our algorithm outperforms state-of-the-art methods without incurring added complexity, especially when the DAGs are larger and the noise level profile is heterogeneous. We also find CoLiDE exhibits enhanced stability manifested via reduced standard deviations in several domain-specific metrics, underscoring the robustness of our novel linear DAG estimator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google