Timestamp-supervised Wearable-based Activity Segmentation and Recognition with Contrastive Learning and Order-Preserving Optimal Transport

要約

ウェアラブルによる人間活動認識 (HAR) は、ユビキタス コンピューティングおよびモバイル コンピューティング アプリケーションで役立つテクノロジの 1 つです。
スライディング ウィンドウ方式は広く採用されていますが、マルチクラス ウィンドウの問題に悩まされています。
その結果、HAR と時系列セグメンテーションの問題に同時に対処することを目的として、深層学習手法を使用した共同セグメンテーションと認識への注目が高まっています。
ただし、ウェアラブル データ シーケンスの完全なアクティビティ アノテーションを取得するには、リソースを大量に消費するか時間がかかり、教師なしの方法ではパフォーマンスが低下します。
これらの課題に対処するために、タイムスタンプ監視を使用した共同アクティビティのセグメント化と認識のための新しい方法を提案します。この方法では、各アクティビティ セグメントに必要な注釈付きサンプルは 1 つだけです。
ただし、スパースアノテーションの情報が限られているため、認識タスクとセグメンテーションタスクの間のギャップがさらに悪化し、モデルのパフォーマンスが最適化されません。
したがって、プロトタイプはクラス活性化マップによって推定され、適切に構造化された埋め込みのためのサンプル対プロトタイプのコントラスト モジュールを形成します。
さらに、最適トランスポート理論を使用して、私たちのアプローチは、さらなるパフォーマンス向上のためにタイムスタンプ アノテーション間のラベルのないデータを利用するサンプル レベルの疑似ラベルを生成します。
4 つの公開 HAR データセットに対する包括的な実験により、タイムスタンプ監視でトレーニングされたモデルが最先端の弱監視手法よりも優れており、完全監視アプローチと同等のパフォーマンスを達成できることが実証されました。

要約(オリジナル)

Human activity recognition (HAR) with wearables is one of the serviceable technologies in ubiquitous and mobile computing applications. The sliding-window scheme is widely adopted while suffering from the multi-class windows problem. As a result, there is a growing focus on joint segmentation and recognition with deep-learning methods, aiming at simultaneously dealing with HAR and time-series segmentation issues. However, obtaining the full activity annotations of wearable data sequences is resource-intensive or time-consuming, while unsupervised methods yield poor performance. To address these challenges, we propose a novel method for joint activity segmentation and recognition with timestamp supervision, in which only a single annotated sample is needed in each activity segment. However, the limited information of sparse annotations exacerbates the gap between recognition and segmentation tasks, leading to sub-optimal model performance. Therefore, the prototypes are estimated by class-activation maps to form a sample-to-prototype contrast module for well-structured embeddings. Moreover, with the optimal transport theory, our approach generates the sample-level pseudo-labels that take advantage of unlabeled data between timestamp annotations for further performance improvement. Comprehensive experiments on four public HAR datasets demonstrate that our model trained with timestamp supervision is superior to the state-of-the-art weakly-supervised methods and achieves comparable performance to the fully-supervised approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google