Koopman Kernel Regression

要約

強化学習などの意思決定のための多くの機械学習アプローチは、エージェントの状態やポリシーの報酬など、関心のある量の時間発展を予測するシミュレーターや予測モデルに依存しています。
このような複雑な現象の予測は、通常、高度に非線形な動的システムによって記述されるため、最適化に基づく意思決定での使用は困難になります。
コープマン演算子理論は、線形力学システムを介して予測を特徴付けることで、この問題に対処するための有益なパラダイムを提供します。
これにより、行列の乗算のみを必要とするシステム分析と長期予測が簡単になります。
ただし、線形システムへの変換は一般に自明ではなく未知であるため、学習ベースのアプローチが必要です。
さまざまなアプローチが存在しますが、通常、それらには重要な学習理論の保証が欠けており、データと次元が増加した場合の取得されたモデルの動作が不明瞭になることがよくあります。
我々は、線形力学系への変換のみを対象とする新しい再生カーネル ヒルベルト空間 (RKHS) を導出することで、前述の問題に対処します。
結果として得られるコープマン カーネル回帰 (KKR) フレームワークにより、既存の研究よりも弱い仮定の下で、新しい収束結果と一般化リスク限界に対する関数近似からの統計学習ツールの使用が可能になります。
私たちの数値実験は、クープマンベースの予測器に対する最先端の統計学習アプローチよりも優れていることを示しています。

要約(オリジナル)

Many machine learning approaches for decision making, such as reinforcement learning, rely on simulators or predictive models to forecast the time-evolution of quantities of interest, e.g., the state of an agent or the reward of a policy. Forecasts of such complex phenomena are commonly described by highly nonlinear dynamical systems, making their use in optimization-based decision-making challenging. Koopman operator theory offers a beneficial paradigm for addressing this problem by characterizing forecasts via linear dynamical systems. This makes system analysis and long-term predictions simple — involving only matrix multiplications. However, the transformation to a linear system is generally non-trivial and unknown, requiring learning-based approaches. While there exists a variety of approaches, they usually lack crucial learning-theoretic guarantees, such that the behavior of the obtained models with increasing data and dimensionality is often unclear. We address the aforementioned by deriving a novel reproducing kernel Hilbert space (RKHS) that solely spans transformations into linear dynamical systems. The resulting Koopman Kernel Regression (KKR) framework enables the use of statistical learning tools from function approximation for novel convergence results and generalization risk bounds under weaker assumptions than existing work. Our numerical experiments indicate advantages over state-of-the-art statistical learning approaches for Koopman-based predictors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google