Inconsistency of cross-validation for structure learning in Gaussian graphical models

要約

さまざまなモデル選択基準の利点とトレードオフについて長年研究が行われてきたにもかかわらず、相互検証の動作を解明する確実な結果を得るのは依然として困難な取り組みです。
この論文では、ガウス グラフィカル モデルの構造を識別するために交差検証を使用した場合の固有の制限に焦点を当てます。
予測オラクルを使用して最適化されたガウス グラフィカル モデル内のノードの近傍に対する Lasso 推定器が近傍を誤って識別する確率に、有限サンプル境界を提供します。
私たちの結果は、無向および有向非循環グラフの両方に関するものであり、一般的な疎な共分散構造を網羅しています。
理論的発見を裏付けるために、広範なシミュレーション研究を通じて結果を他の一般的に使用される情報基準と比較することにより、この矛盾の実証的調査を実施します。
グラフィカル モデルの構造を学習するために設計された多くのアルゴリズムではハイパーパラメーターの選択が必要であることを考えると、固有の構造を正確に推定するには、このハイパーパラメーターの正確なキャリブレーションが最も重要です。
その結果、私たちの観察は、この広く認識されている実際的な課題に光を当てました。

要約(オリジナル)

Despite numerous years of research into the merits and trade-offs of various model selection criteria, obtaining robust results that elucidate the behavior of cross-validation remains a challenging endeavor. In this paper, we highlight the inherent limitations of cross-validation when employed to discern the structure of a Gaussian graphical model. We provide finite-sample bounds on the probability that the Lasso estimator for the neighborhood of a node within a Gaussian graphical model, optimized using a prediction oracle, misidentifies the neighborhood. Our results pertain to both undirected and directed acyclic graphs, encompassing general, sparse covariance structures. To support our theoretical findings, we conduct an empirical investigation of this inconsistency by contrasting our outcomes with other commonly used information criteria through an extensive simulation study. Given that many algorithms designed to learn the structure of graphical models require hyperparameter selection, the precise calibration of this hyperparameter is paramount for accurately estimating the inherent structure. Consequently, our observations shed light on this widely recognized practical challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google