Koopman Kernel Regression

要約

強化学習などの意思決定のための多くの機械学習アプローチは、エージェントの状態やポリシーの報酬など、関心のある量の時間発展を予測するシミュレーターや予測モデルに依存しています。
このような複雑な現象の予測は、通常、高度に非線形な動的システムによって記述されるため、最適化に基づく意思決定での使用は困難になります。
コープマン演算子理論は、線形時不変 (LTI) ODE を介して予測を特徴付けることで、この問題に対処するための有益なパラダイムを提供します。つまり、マルチステップ予測を疎行列の乗算に変換します。
さまざまな学習アプローチが存在しますが、通常、それらには重要な学習理論の保証が欠けており、データと次元が増加するにつれて得られるモデルの動作が不明確になります。
我々は、LTI 力学システムへの変換のみにわたる軌道上の新しい再生カーネル ヒルベルト空間 (RKHS) を導出することで、前述の問題に対処します。
結果として得られるコープマン カーネル回帰 (KKR) フレームワークにより、既存の研究よりも弱い仮定の下で、新しい収束結果と汎化誤差限界に対する関数近似からの統計学習ツールの使用が可能になります。
私たちの実験は、RKHS の Koopman オペレーターや逐次データ予測子と比較して、優れた予測パフォーマンスを示しています。

要約(オリジナル)

Many machine learning approaches for decision making, such as reinforcement learning, rely on simulators or predictive models to forecast the time-evolution of quantities of interest, e.g., the state of an agent or the reward of a policy. Forecasts of such complex phenomena are commonly described by highly nonlinear dynamical systems, making their use in optimization-based decision-making challenging. Koopman operator theory offers a beneficial paradigm for addressing this problem by characterizing forecasts via linear time-invariant (LTI) ODEs — turning multi-step forecasting into sparse matrix multiplications. Though there exists a variety of learning approaches, they usually lack crucial learning-theoretic guarantees, making the behavior of the obtained models with increasing data and dimensionality unclear. We address the aforementioned by deriving a novel reproducing kernel Hilbert space (RKHS) over trajectories that solely spans transformations into LTI dynamical systems. The resulting Koopman Kernel Regression (KKR) framework enables the use of statistical learning tools from function approximation for novel convergence results and generalization error bounds under weaker assumptions than existing work. Our experiments demonstrate superior forecasting performance compared to Koopman operator and sequential data predictors in RKHS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google