PAC-Bayesian bounds for learning LTI-ss systems with input from empirical loss

要約

この論文では、入力をもつ線形時不変 (LTI) 確率動的システムの推定近似正 (PAC)-ベイズ誤差限界を導き出します。
このような境界は機械学習で広く使用されており、有限数のデータ ポイントから学習したモデルの予測能力を特徴付けるのに役立ちます。
特に、この論文で導き出された境界を使用して、将来の平均予測誤差を、学習に使用されるデータのモデルによって生成された予測誤差と関連付けます。
次に、これにより、幅広いクラスの学習/システム識別アルゴリズムに有限サンプルのエラー境界を提供できます。
さらに、LTI システムはリカレント ニューラル ネットワーク (RNN) のサブクラスであるため、これらのエラー範囲は、RNN の PAC-ベイジアン範囲に向けた第一歩となる可能性があります。

要約(オリジナル)

In this paper we derive a Probably Approxilmately Correct(PAC)-Bayesian error bound for linear time-invariant (LTI) stochastic dynamical systems with inputs. Such bounds are widespread in machine learning, and they are useful for characterizing the predictive power of models learned from finitely many data points. In particular, with the bound derived in this paper relates future average prediction errors with the prediction error generated by the model on the data used for learning. In turn, this allows us to provide finite-sample error bounds for a wide class of learning/system identification algorithms. Furthermore, as LTI systems are a sub-class of recurrent neural networks (RNNs), these error bounds could be a first step towards PAC-Bayesian bounds for RNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google