Weak-Annotation of HAR Datasets using Vision Foundation Models

要約

ウェアラブルベースのデータアノテーションは、現在に至るまで、研究者がかなりの時間を費やす必要がある退屈で時間のかかる作業であるため、人間活動認識分野のベンチマークデータセットは、関連分野で利用可能なデータセットと比較して豊富さとサイズが不足しています。
最近、CLIP などのビジョン基盤モデルが大きな注目を集めており、ビジョン コミュニティが堅牢で一般化可能な特徴表現を見つけることに貢献しています。
ウェアラブル コミュニティ内の研究者の大多数は、ウェアラブル データの表現力の制限を克服し、オフラインでリリース予定のベンチマーク データセットに正確にラベルを付けるために視覚モダリティに依存しているため、私たちは、データ量を大幅に削減する新しいクラスタリング ベースのアノテーション パイプラインを提案します。
人間のアノテーターによるアノテーションが必要なデータ。
私たちのアプローチを使用すると、重心クリップのアノテーションが、3 つの公的に利用可能な HAR ベンチマーク データセット全体で 90% 近い平均ラベル精度を達成するのに十分であることを示します。
弱いアノテーションが付けられたデータセットを使用して、3 つのベンチマーク データセットすべてにわたって完全教師あり深層学習分類器の精度スコアを一致させることができることをさらに実証します。
コード、補足図および結果は、github.com/mariusbock/weak_har 経由で公的にダウンロードできます。

要約(オリジナル)

As wearable-based data annotation remains, to date, a tedious, time-consuming task requiring researchers to dedicate substantial time, benchmark datasets within the field of Human Activity Recognition in lack richness and size compared to datasets available within related fields. Recently, vision foundation models such as CLIP have gained significant attention, helping the vision community advance in finding robust, generalizable feature representations. With the majority of researchers within the wearable community relying on vision modalities to overcome the limited expressiveness of wearable data and accurately label their to-be-released benchmark datasets offline, we propose a novel, clustering-based annotation pipeline to significantly reduce the amount of data that needs to be annotated by a human annotator. We show that using our approach, the annotation of centroid clips suffices to achieve average labelling accuracies close to 90% across three publicly available HAR benchmark datasets. Using the weakly annotated datasets, we further demonstrate that we can match the accuracy scores of fully-supervised deep learning classifiers across all three benchmark datasets. Code as well as supplementary figures and results are publicly downloadable via github.com/mariusbock/weak_har.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google