SimPer: Simple Self-Supervised Learning of Periodic Targets

要約

人間の生理学から環境進化まで、自然界の重要なプロセスはしばしば意味のある強い周期的または準周期的な変化を示す。その本質的なラベルの希少性から、周期的なタスクに有用な表現を、限られた、あるいは全く監視されずに学習することは大きな利益をもたらす。しかし、既存の自己教師付き学習(SSL)手法は、データに内在する周期性を見落としており、周期的あるいは周波数的な属性を捉えた表現を学習することができない。本論文では、データ中の周期的な情報を学習するためのシンプルな対比型SSL体制であるSimPerを紹介する。周期的な帰納的バイアスを利用するため、SimPerはカスタマイズされた補強、特徴類似度、一般化対比損失を導入し、効率的かつ頑健な周期的表現を学習する。人間の行動分析、環境センシング、ヘルスケア領域における一般的な実世界タスクに関する広範な実験により、最新のSSL手法と比較してSimPerの優れた性能が検証され、優れたデータ効率、偽相関への耐性、分布シフトへの一般化などの興味深い特性が強調されています。コードとデータは、https://github.com/YyzHarry/SimPer で入手できます。

要約(オリジナル)

From human physiology to environmental evolution, important processes in nature often exhibit meaningful and strong periodic or quasi-periodic changes. Due to their inherent label scarcity, learning useful representations for periodic tasks with limited or no supervision is of great benefit. Yet, existing self-supervised learning (SSL) methods overlook the intrinsic periodicity in data, and fail to learn representations that capture periodic or frequency attributes. In this paper, we present SimPer, a simple contrastive SSL regime for learning periodic information in data. To exploit the periodic inductive bias, SimPer introduces customized augmentations, feature similarity measures, and a generalized contrastive loss for learning efficient and robust periodic representations. Extensive experiments on common real-world tasks in human behavior analysis, environmental sensing, and healthcare domains verify the superior performance of SimPer compared to state-of-the-art SSL methods, highlighting its intriguing properties including better data efficiency, robustness to spurious correlations, and generalization to distribution shifts. Code and data are available at: https://github.com/YyzHarry/SimPer.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL