Learning and Concentration for High Dimensional Linear Gaussians: an Invariant Subspace Approach

要約

【タイトル】高次元線形ガウス分布における学習と集中：不変部分空間アプローチ

【要約】
– 安定的な線形システムにおける等方性ガウスノイズの2つの時間表現間の相関について、非漸近的な境界を研究する。
– したがって、サブ軌跡からサンプリングして、タラクランドの不等式を使用することにより、報酬の経験平均が、ステディステート（閉ループシステムが線形フィードバックポリシーの下で安定しているときにダイナミックシステムが混ざる場所）の報酬の周りに収束することを示す。
– システムの固有値が代数的重複度と幾何学的重複度の差が大きい場合、大いなる不変部分空間がシステム移行行列に関連して生じる。システムが大きな不変部分空間に入ると、現在滞在している不変部分空間から脱出することが高い確率で可能になる等方ガウスノイズの単位球の近くに来るまでしばらく離れて移動する。それにより、$\mathbb{R}^{n}$を張る異なる不変部分空間の間にボトルネックが生じる。特に、大きな不変部分空間に初期化されたシステムは長時間そこに留まることになる。具体的には、不変部分空間の次元の対数的な線形と、固有値の逆数の対数的な逆数の対数的である。
– 単一の軌跡を介したシステム移行行列のOrdinary Least Squares推定の問題では、大きな不変部分空間に関連する遷移行列のスペクトルが爆発的で、小さな不変部分空間が安定な固有値に対応している場合、この現象はさらに明らかになる。
– この分析により、連続的で高次元の状態空間上のランダムなダイナミカルシステムの学習と集中の複雑さについての最初の直感的で幾何学的な説明が提供され、次元の増加に伴う驚きについて明らかになる。

要約(オリジナル)

In this work, we study non-asymptotic bounds on correlation between two time realizations of stable linear systems with isotropic Gaussian noise. Consequently, via sampling from a sub-trajectory and using \emph{Talagrands’} inequality, we show that empirical averages of reward concentrate around steady state (dynamical system mixes to when closed loop system is stable under linear feedback policy ) reward , with high-probability. As opposed to common belief of larger the spectral radius stronger the correlation between samples, \emph{large discrepancy between algebraic and geometric multiplicity of system eigenvalues leads to large invariant subspaces related to system-transition matrix}; once the system enters the large invariant subspace it will travel away from origin for a while before coming close to a unit ball centered at origin where an isotropic Gaussian noise can with high probability allow it to escape the current invariant subspace it resides in, leading to \emph{bottlenecks} between different invariant subspaces that span $\mathbb{R}^{n}$, to be precise : system initiated in a large invariant subspace will be stuck there for a long-time: log-linear in dimension of the invariant subspace and inversely to log of inverse of magnitude of the eigenvalue. In the problem of Ordinary Least Squares estimate of system transition matrix via a single trajectory, this phenomenon is even more evident if spectrum of transition matrix associated to large invariant subspace is explosive and small invariant subspaces correspond to stable eigenvalues. Our analysis provide first interpretable and geometric explanation into intricacies of learning and concentration for random dynamical systems on continuous, high dimensional state space; exposing us to surprises in high dimensions

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI