Information Theoretically Optimal Sample Complexity of Learning Dynamical Directed Acyclic Graphs

要約

この記事では、有向非巡回グラフ (DAG) 上の線形動的システム (LDS) の基礎となる相互作用または依存関係を学習するための最適なサンプルの複雑さを研究します。
LDS の基礎となるこのような DAG を動的 DAG (DDAG) と呼びます。
特に、ノードダイナミクスが、時間的には広義定常（WSS）であるが相互に相関がなく、同じ｛パワースペクトル密度（PSD）｝を持つ、観測されていない外来ノイズ源によって駆動されるDDAGを考慮します。
静的 DAG 設定にヒントを得て、観測された時系列の PSD 行列に基づくメトリックとアルゴリズムが DDAG を再構築するために提案されています。
DDAG を学習するために必要な最適なサンプルの複雑さ (または状態軌跡の長さ) は、$n=\Theta(q\log(p/q))$ であることが示されています。ここで、$p$ はノードの数、$q です。
$ はノードごとの親の最大数です。
サンプルの複雑さの上限を証明するために、2 つの異なるサンプリング戦略に基づいて PSD 推定の濃度限界が導出されます。
一般化されたファノ不等式を使用した一致する最小-最大の下限も提供され、提案されたアルゴリズムの順序の最適性が示されます。

要約(オリジナル)

In this article, the optimal sample complexity of learning the underlying interactions or dependencies of a Linear Dynamical System (LDS) over a Directed Acyclic Graph (DAG) is studied. We call such a DAG underlying an LDS as dynamical DAG (DDAG). In particular, we consider a DDAG where the nodal dynamics are driven by unobserved exogenous noise sources that are wide-sense stationary (WSS) in time but are mutually uncorrelated, and have the same {power spectral density (PSD)}. Inspired by the static DAG setting, a metric and an algorithm based on the PSD matrix of the observed time series are proposed to reconstruct the DDAG. It is shown that the optimal sample complexity (or length of state trajectory) needed to learn the DDAG is $n=\Theta(q\log(p/q))$, where $p$ is the number of nodes and $q$ is the maximum number of parents per node. To prove the sample complexity upper bound, a concentration bound for the PSD estimation is derived, under two different sampling strategies. A matching min-max lower bound using generalized Fano’s inequality also is provided, thus showing the order optimality of the proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google