Can Transformers Learn Optimal Filtering for Unknown Systems?

要約

Transformer モデルは、自然言語処理において大きな成功を収めています。
ただし、動的システムにおけるその可能性はほとんど未開拓のままです。
この研究では、過去のすべての出力予測を使用して出力予測を生成する変圧器を使用した最適な出力推定問題を調査します。
特に、さまざまな異なるシステムを使用して変圧器をトレーニングし、未知のダイナミクスを持つ目に見えないシステムでのパフォーマンスを評価します。
経験的に、訓練された変換器はさまざまな目に見えないシステムに非常によく適応し、線形システムのカルマン フィルターによって与えられる最適なパフォーマンスにも匹敵します。
非 i.i.d を使用したより複雑な設定の場合。
ノイズ、時変ダイナミクス、および未知のパラメータを持つクアッドローター システムのような非線形ダイナミクスでも、変圧器は有望な結果を示します。
実験結果を裏付けるために、変圧器が望ましい過剰リスクを達成するために必要なトレーニング データの量を定量化する統計的保証を提供します。
最後に、パフォーマンスの低下につながる 2 つのクラスの問題を特定することでいくつかの制限を指摘し、制御と推定にトランスを使用する際の注意の必要性を強調します。

要約(オリジナル)

Transformer models have shown great success in natural language processing; however, their potential remains mostly unexplored for dynamical systems. In this work, we investigate the optimal output estimation problem using transformers, which generate output predictions using all the past ones. Particularly, we train the transformer using various distinct systems and then evaluate the performance on unseen systems with unknown dynamics. Empirically, the trained transformer adapts exceedingly well to different unseen systems and even matches the optimal performance given by the Kalman filter for linear systems. In more complex settings with non-i.i.d. noise, time-varying dynamics, and nonlinear dynamics like a quadrotor system with unknown parameters, transformers also demonstrate promising results. To support our experimental findings, we provide statistical guarantees that quantify the amount of training data required for the transformer to achieve a desired excess risk. Finally, we point out some limitations by identifying two classes of problems that lead to degraded performance, highlighting the need for caution when using transformers for control and estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google