Don’t freeze: Finetune encoders for better Self-Supervised HAR

要約

最近、自己教師あり学習が、ラベル付きデータの可用性問題の解決策として、人間の活動認識の分野で提案されています。
このアイデアは、再構成や対比予測コーディングなどのプリテキスト タスクを使用することで、分類に使用できる有用な表現を学習できるというものです。
これらのアプローチは、事前トレーニング、フリーズ、微調整の手順に従います。
このペーパーでは、表現を凍結しない単純な変更がどのように口実タスク全体で大幅なパフォーマンスの向上につながるかを示します。
改善は、調査された 4 つのデータセットすべて、および 4 つの口実タスクすべてにわたって見られ、ラベル付きデータの量に反比例します。
さらに、この効果は、プレテキスト タスクが Capture24 データセット上で実行されるか、ターゲット データセットのラベルなしデータで直接実行されるかに関係なく存在します。

要約(オリジナル)

Recently self-supervised learning has been proposed in the field of human activity recognition as a solution to the labelled data availability problem. The idea being that by using pretext tasks such as reconstruction or contrastive predictive coding, useful representations can be learned that then can be used for classification. Those approaches follow the pretrain, freeze and fine-tune procedure. In this paper we will show how a simple change – not freezing the representation – leads to substantial performance gains across pretext tasks. The improvement was found in all four investigated datasets and across all four pretext tasks and is inversely proportional to amount of labelled data. Moreover the effect is present whether the pretext task is carried on the Capture24 dataset or directly in unlabelled data of the target dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google