Structure Learning with Continuous Optimization: A Sober Look and Beyond

要約

この論文では、有向非巡回グラフ (DAG) 構造学習の連続最適化がどのような場合に適切に実行できるか、どのような場合に実行できないのか、またなぜそのようなことが起こるのかを調査し、検索手順の信頼性を高めるための考えられる方向性を提案します。
ライザッハら。
(2021) は、いくつかの連続構造学習アプローチの顕著なパフォーマンスは主に、周辺分散の増加順序と位相的順序の間の高度な一致によって駆動されることを示唆し、これらのアプローチがデータ標準化後にはうまく機能しないことを実証しました。
我々は、等しいノイズ分散と等しくないノイズ分散を仮定した連続アプローチについてこの現象を分析し、反例、正当化、および可能な代替説明を提供することによって、どちらの場合にもステートメントが成り立たない可能性があることを示します。
我々はさらに、非凸性が特に不等ノイズ分散定式化の主な懸念事項である可能性があるが、連続構造学習における最近の進歩はこの場合には改善を達成できていないことを実証します。
私たちの調査結果は、将来の研究では、より一般的な設定を処理し、より包括的な経験的評価を行うために、不等ノイズ分散の定式化を考慮する必要があることを示唆しています。
最後に、しきい値処理やスパース性など、検索手順の他の側面についての洞察を提供し、それらが最終的なソリューションにおいて重要な役割を果たすことを示します。

要約(オリジナル)

This paper investigates in which cases continuous optimization for directed acyclic graph (DAG) structure learning can and cannot perform well and why this happens, and suggests possible directions to make the search procedure more reliable. Reisach et al. (2021) suggested that the remarkable performance of several continuous structure learning approaches is primarily driven by a high agreement between the order of increasing marginal variances and the topological order, and demonstrated that these approaches do not perform well after data standardization. We analyze this phenomenon for continuous approaches assuming equal and non-equal noise variances, and show that the statement may not hold in either case by providing counterexamples, justifications, and possible alternative explanations. We further demonstrate that nonconvexity may be a main concern especially for the non-equal noise variances formulation, while recent advances in continuous structure learning fail to achieve improvement in this case. Our findings suggest that future works should take into account the non-equal noise variances formulation to handle more general settings and for a more comprehensive empirical evaluation. Lastly, we provide insights into other aspects of the search procedure, including thresholding and sparsity, and show that they play an important role in the final solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google