Constraint-Free Structure Learning with Smooth Acyclic Orientations

要約

構造学習問題は、有向非巡回グラフ (DAG) によって生成されたデータをフィッティングして、その弧を正しく再構築することで構成されます。
これに関連して、微分可能なアプローチは、非周期性特性の連続緩和を使用して最適化問題を制約または規則化します。
グラフの非循環性を評価するための計算コストは​​ノード数の 3 乗となり、スケーラビリティに大きく影響します。
この論文では、非巡回構造学習のための制約のない連続最適化スキームである COSMO を紹介します。
私たちの方法の中核では、単一の優先順位ベクトルによってパラメータ化された方向行列の微分可能な近似を定義します。
以前の研究とは異なり、私たちのパラメータ化では、どのステップでも非周期性を評価することなく、滑らかな方向行列とその結果として得られる非周期的隣接行列を適合させます。
明示的な制約がないにもかかわらず、COSMO は常に非周期的な解に収束することを証明します。
漸近的に高速であることに加えて、私たちの経験的分析は、グラフ再構成における COSMO のパフォーマンスが競合する構造学習手法と比べてどのように有利であるかを強調しています。

要約(オリジナル)

The structure learning problem consists of fitting data generated by a Directed Acyclic Graph (DAG) to correctly reconstruct its arcs. In this context, differentiable approaches constrain or regularize the optimization problem using a continuous relaxation of the acyclicity property. The computational cost of evaluating graph acyclicity is cubic on the number of nodes and significantly affects scalability. In this paper we introduce COSMO, a constraint-free continuous optimization scheme for acyclic structure learning. At the core of our method, we define a differentiable approximation of an orientation matrix parameterized by a single priority vector. Differently from previous work, our parameterization fits a smooth orientation matrix and the resulting acyclic adjacency matrix without evaluating acyclicity at any step. Despite the absence of explicit constraints, we prove that COSMO always converges to an acyclic solution. In addition to being asymptotically faster, our empirical analysis highlights how COSMO performance on graph reconstruction compares favorably with competing structure learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google