SimPer: Simple Self-Supervised Learning of Periodic Targets

要約

人間の生理学から環境の進化まで、自然界の重要なプロセスは、意味のある強い周期的または準周期的な変化を示すことがよくあります。
固有のラベルが不足しているため、監督が制限されている、または監督されていない定期的なタスクの有用な表現を学習することは非常に役立ちます。
しかし、既存の自己教師あり学習 (SSL) メソッドは、データの固有の周期性を見過ごしており、周期的または頻度属性をキャプチャする表現を学習できません。
このホワイト ペーパーでは、データ内の定期的な情報を学習するための単純な対照的な SSL レジームである SimPer を紹介します。
周期的な帰納的バイアスを利用するために、SimPer は、効率的で堅牢な周期的表現を学習するために、カスタマイズされた増強、機能の類似性測定、および一般化された対照損失を導入します。
人間の行動分析、環境センシング、およびヘルスケアの分野における一般的な実世界のタスクに関する広範な実験により、最先端の SSL 方式と比較して SimPer の優れたパフォーマンスが検証され、より優れたデータ効率、誤った相関に対する堅牢性などの興味深い特性が強調されています。
、および分布シフトへの一般化。
コードとデータは https://github.com/YyzHarry/SimPer で入手できます。

要約(オリジナル)

From human physiology to environmental evolution, important processes in nature often exhibit meaningful and strong periodic or quasi-periodic changes. Due to their inherent label scarcity, learning useful representations for periodic tasks with limited or no supervision is of great benefit. Yet, existing self-supervised learning (SSL) methods overlook the intrinsic periodicity in data, and fail to learn representations that capture periodic or frequency attributes. In this paper, we present SimPer, a simple contrastive SSL regime for learning periodic information in data. To exploit the periodic inductive bias, SimPer introduces customized augmentations, feature similarity measures, and a generalized contrastive loss for learning efficient and robust periodic representations. Extensive experiments on common real-world tasks in human behavior analysis, environmental sensing, and healthcare domains verify the superior performance of SimPer compared to state-of-the-art SSL methods, highlighting its intriguing properties including better data efficiency, robustness to spurious correlations, and generalization to distribution shifts. Code and data are available at: https://github.com/YyzHarry/SimPer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google