In-context learning for model-free system identification

要約

従来のシステム同定では、与えられた入力/出力シーケンスと利用可能な物理的知識に基づいて未知の動的システムのモデルを推定します。
しかし、動的システムの複雑さをその入出力パターンだけから理解するのではなく、同じクラス内の他のシステムの動作を観察することによっても理解できるのでしょうか?
この中心的な疑問が、この論文で紹介する研究の推進力となります。
このクエリに応えて、システム識別のための新しいパラダイムを導入し、1 ステップ先の予測とマルチステップ シミュレーションという 2 つの主要なタスクに取り組みます。
従来の手法とは異なり、特定のシステムのモデルを直接推定することはありません。
代わりに、動的システムのクラスを表すメタ モデルを事前トレーニングします。
このメタ モデルは、特定の分布からランダムに抽出されたシステムによって生成された、潜在的に無限の合成データ ストリームからトレーニングされます。
その中核となるメタ モデルは、あるクラスの動的システムの主な特性を暗黙的に表現するものとして機能します。
新しいシステムから短いコンテキスト、特に短い入力/出力シーケンスが提供されると、メタ モデルはそのダイナミクスを暗黙的に識別し、その動作の予測を可能にします。
提案されたアプローチは、自然言語処理タスクにおけるコンテキスト内学習機能で知られる Transformer アーキテクチャの力を利用します。
ワンステップ予測では、GPT に似たデコーダーのみのアーキテクチャが利用されますが、シミュレーション問題ではエンコーダー – デコーダー構造が使用されます。
初期の実験結果は私たちの基本的な疑問に肯定的に答え、システム同定における新たな研究の道への扉を開きました。

要約(オリジナル)

In traditional system identification, we estimate a model of an unknown dynamical system based on given input/output sequences and available physical knowledge. Yet, is it also possible to understand the intricacies of dynamical systems not solely from their input/output patterns, but by observing the behavior of other systems within the same class? This central question drives the study presented in this paper. In response to this query, we introduce a novel paradigm for system identification, addressing two primary tasks: one-step-ahead prediction and multi-step simulation. Unlike conventional methods, we do not directly estimate a model for the specific system. Instead, we pretrain a meta model that represents a class of dynamical systems. This meta model is trained from a potentially infinite stream of synthetic data, generated by systems randomly extracted from a certain distribution. At its core, the meta model serves as an implicit representation of the main characteristics of a class of dynamical systems. When provided with a brief context from a new system – specifically, a short input/output sequence – the meta model implicitly discerns its dynamics, enabling predictions of its behavior. The proposed approach harnesses the power of Transformer architectures, renowned for their in-context learning capabilities in Natural Language Processing tasks. For one-step prediction, a GPT-like decoder-only architecture is utilized, whereas the simulation problem employs an encoder-decoder structure. Initial experimental results affirmatively answer our foundational question, opening doors to fresh research avenues in system identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google