Learning with Imperfect Models: When Multi-step Prediction Mitigates Compounding Error

要約

小さな予測間違いが時間とともに蓄積する複合エラーは、学習ベースの制御に大きな課題を提示します。
たとえば、この問題は、多くの場合、モデルベースの強化学習と模倣学習のパフォーマンスを制限します。
複合エラーを緩和するための一般的なアプローチの1つは、単一ステップモデルの自己回帰ロールアウトに依存するのではなく、マルチステップ予測因子を直接トレーニングすることです。
ただし、マルチステップ予測の利点が、より複雑なモデルを学習するという複雑さを上回る場合、それはよく理解されていません。
この作業では、線形動的システムのコンテキストでこのトレードオフの厳密な分析を提供します。
モデルクラスが適切に指定されており、システムのダイナミクスを正確にキャプチャする場合、シングルステップモデルがより低い漸近予測エラーを達成することを示します。
一方、部分的な観測性のためにモデルクラスが誤って指定されると、直接的なマルチステップ予測因子はバイアスを大幅に減らし、したがってシングルステップアプローチを上回ることができます。
これらの理論的結果は数値実験によってサポートされています。また、（a）マルチステップ損失を使用して単一ステップモデルをトレーニングする中間戦略を経験的に評価し、（b）閉ループ制御設定での単一ステップおよびマルチステップ予測因子のパフォーマンスを評価します。

要約(オリジナル)

Compounding error, where small prediction mistakes accumulate over time, presents a major challenge in learning-based control. For example, this issue often limits the performance of model-based reinforcement learning and imitation learning. One common approach to mitigate compounding error is to train multi-step predictors directly, rather than relying on autoregressive rollout of a single-step model. However, it is not well understood when the benefits of multi-step prediction outweigh the added complexity of learning a more complicated model. In this work, we provide a rigorous analysis of this trade-off in the context of linear dynamical systems. We show that when the model class is well-specified and accurately captures the system dynamics, single-step models achieve lower asymptotic prediction error. On the other hand, when the model class is misspecified due to partial observability, direct multi-step predictors can significantly reduce bias and thus outperform single-step approaches. These theoretical results are supported by numerical experiments, wherein we also (a) empirically evaluate an intermediate strategy which trains a single-step model using a multi-step loss and (b) evaluate performance of single step and multi-step predictors in a closed loop control setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google