Information Theoretically Optimal Sample Complexity of Learning Dynamical Directed Acyclic Graphs

要約

この記事では、有向非巡回グラフ (DAG) 上の線形動的システム (LDS) の基礎となる相互作用/依存関係を学習するための最適なサンプルの複雑さを研究します。
DAG の構造を学習するサンプルの複雑さは、節点状態のサンプルが独立しており、同一に分布している (i.i.d.) 静的システムについてよく研究されています。
ただし、このような研究は、節点の状態が時間的に相関する動的システムを備えた DAG についてはあまり調査されていません。
LDS の基礎となるこのような DAG を \emph{動的} DAG (DDAG) と呼びます。
特に、ノードダイナミクスが、時間的には広義定常（WSS）であるが相互に相関がなく、同じ｛パワースペクトル密度（PSD）｝を持つ、観測されていない外来ノイズ源によって駆動されるDDAGを考慮します。
静的設定にインスピレーションを得て、観測された時系列の PSD マトリックスに基づくメトリックとアルゴリズムが DDAG を再構築するために提案されています。
等しいノイズ PSD の仮定は、DDAG 再構成の識別可能性条件が違反されないように緩和できます。
WSS (サブ) ガウス外因性ノイズ源を備えた LDS の場合、DDAG を学習するために必要な最適なサンプル複雑さ (または状態軌跡の長さ) は $n=\Theta(q\log(p/q))$ であることが示されています。
ここで、$p$ はノードの数、$q$ はノードごとの親の最大数です。
サンプルの複雑さの上限を証明するために、2 つの異なるサンプリング戦略に基づいて PSD 推定の濃度限界が導出されます。
一般化されたファノ不等式を使用した一致する最小-最大の下限も提供され、提案されたアルゴリズムの順序の最適性が示されます。

要約(オリジナル)

In this article, the optimal sample complexity of learning the underlying interaction/dependencies of a Linear Dynamical System (LDS) over a Directed Acyclic Graph (DAG) is studied. The sample complexity of learning a DAG’s structure is well-studied for static systems, where the samples of nodal states are independent and identically distributed (i.i.d.). However, such a study is less explored for DAGs with dynamical systems, where the nodal states are temporally correlated. We call such a DAG underlying an LDS as \emph{dynamical} DAG (DDAG). In particular, we consider a DDAG where the nodal dynamics are driven by unobserved exogenous noise sources that are wide-sense stationary (WSS) in time but are mutually uncorrelated, and have the same {power spectral density (PSD)}. Inspired by the static settings, a metric and an algorithm based on the PSD matrix of the observed time series are proposed to reconstruct the DDAG. The equal noise PSD assumption can be relaxed such that identifiability conditions for DDAG reconstruction are not violated. For the LDS with WSS (sub) Gaussian exogenous noise sources, it is shown that the optimal sample complexity (or length of state trajectory) needed to learn the DDAG is $n=\Theta(q\log(p/q))$, where $p$ is the number of nodes and $q$ is the maximum number of parents per node. To prove the sample complexity upper bound, a concentration bound for the PSD estimation is derived, under two different sampling strategies. A matching min-max lower bound using generalized Fano’s inequality also is provided, thus showing the order optimality of the proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google