Balancing Continual Learning and Fine-tuning for Human Activity Recognition

要約

ウェアラブルベースの人間活動認識 (HAR) は、人間の行動を根本的に理解するため、人間中心の機械学習における重要なタスクです。
人間の行動の動的な性質により、継続的な学習により、ユーザーのニーズに合わせた HAR システムが約束されます。
ただし、ウェアラブル センサーでラベル付きデータを収集するのは難しいため、教師あり継続学習に焦点を当てた既存のアプローチの適用性は限られており、教師なし継続学習手法は表現学習のみを処理し、分類器のトレーニングを後の段階に遅らせます。
この研究では、ウェアラブルベースの HAR のタスクに対する、継続的自己教師あり学習モデルである CaSSLe と、表現学習と下流分類のバランスをとった半教師あり継続的学習モデルである Kaizen の採用と適応を検討します。
これらのスキームは、知識の保持のために対照的な学習を再利用し、Kaizen はそれを自己トレーニングと組み合わせて、ラベルなしのデータとラベル付きのデータを継続的な学習に活用できる統一スキームで組み合わせます。
最先端の自己教師あり継続学習スキームを比較することに加えて、さまざまな損失条件の重要性をさらに調査し、知識の保持と新しいタスクからの学習の間のトレードオフを調査しました。
特に、私たちの広範な評価では、学習したクラスと新しいクラスの比率を反映する重み係数を使用すると、継続的な学習において最良の全体的なトレードオフが達成されることが実証されました。

要約(オリジナル)

Wearable-based Human Activity Recognition (HAR) is a key task in human-centric machine learning due to its fundamental understanding of human behaviours. Due to the dynamic nature of human behaviours, continual learning promises HAR systems that are tailored to users’ needs. However, because of the difficulty in collecting labelled data with wearable sensors, existing approaches that focus on supervised continual learning have limited applicability, while unsupervised continual learning methods only handle representation learning while delaying classifier training to a later stage. This work explores the adoption and adaptation of CaSSLe, a continual self-supervised learning model, and Kaizen, a semi-supervised continual learning model that balances representation learning and down-stream classification, for the task of wearable-based HAR. These schemes re-purpose contrastive learning for knowledge retention and, Kaizen combines that with self-training in a unified scheme that can leverage unlabelled and labelled data for continual learning. In addition to comparing state-of-the-art self-supervised continual learning schemes, we further investigated the importance of different loss terms and explored the trade-off between knowledge retention and learning from new tasks. In particular, our extensive evaluation demonstrated that the use of a weighting factor that reflects the ratio between learned and new classes achieves the best overall trade-off in continual learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google