Self-supervised contrastive learning performs non-linear system identification

要約

自己教師あり学習 (SSL) アプローチは、多くのタスクや領域で大きな成功をもたらしてきました。
これらの成功は、SSL と識別可能な表現学習の間のリンクに起因する可能性があると主張されています。時間構造と補助変数により、潜在的な表現がデータの真の根底にある生成要因に確実に関連付けられます。
ここでは、この関係を深め、SSL が潜在空間でシステム識別を実行できることを示します。
我々は、非線形観測モデルの下で線形、スイッチング線形、および非線形ダイナミクスを明らかにし、理論的な保証を与え、それらを経験的に検証するためのフレームワークである DynCL を提案します。

要約(オリジナル)

Self-supervised learning (SSL) approaches have brought tremendous success across many tasks and domains. It has been argued that these successes can be attributed to a link between SSL and identifiable representation learning: Temporal structure and auxiliary variables ensure that latent representations are related to the true underlying generative factors of the data. Here, we deepen this connection and show that SSL can perform system identification in latent space. We propose DynCL, a framework to uncover linear, switching linear and non-linear dynamics under a non-linear observation model, give theoretical guarantees and validate them empirically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google