On Foundation Models for Dynamical Systems from Purely Synthetic Data

要約

基盤モデルは、さまざまなドメインにわたって顕著な一般化、データ効率、堅牢性の特性を実証しています。
この論文では、制御ドメインにおけるアプリケーションの基礎モデルの実現可能性を検討します。
これらのモデルの成功は、インターネット規模のデータセットを大規模に保持することによって可能になります。
これらは、自然言語処理やコンピューター ビジョンなどの分野では利用できますが、動的システムには存在しません。
私たちは、変換器ベースの基礎モデルを合成データのみで事前トレーニングすることでこの課題に対処し、再現カーネル ヒルベルト空間からダイナミクス関数をサンプリングすることを提案します。
私たちの事前トレーニング済みモデルは、さまざまな力学システムにわたる予測タスクを一般化します。これは、カートポールやフルタ振り子のセットアップなどのシミュレーションとハードウェア実験で検証されます。
さらに、モデルを新しいシステムに合わせて効果的に微調整して、パフォーマンスをさらに向上させることができます。
私たちの結果は、一般化、データ効率、堅牢性の点で専門モデルを上回る動的システムの基礎モデルの実現可能性を示しています。

要約(オリジナル)

Foundation models have demonstrated remarkable generalization, data efficiency, and robustness properties across various domains. In this paper, we explore the feasibility of foundation models for applications in the control domain. The success of these models is enabled by large-scale pretaining on Internet-scale datasets. These are available in fields like natural language processing and computer vision, but do not exist for dynamical systems. We address this challenge by pretraining a transformer-based foundation model exclusively on synthetic data and propose to sample dynamics functions from a reproducing kernel Hilbert space. Our pretrained model generalizes for prediction tasks across different dynamical systems, which we validate in simulation and hardware experiments, including cart-pole and Furuta pendulum setups. Additionally, the model can be fine-tuned effectively to new systems to increase performance even further. Our results demonstrate the feasibility of foundation models for dynamical systems that outperform specialist models in terms of generalization, data efficiency, and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google