A Matter of Annotation: An Empirical Study on In Situ and Self-Recall Activity Annotations from Wearable Sensors

要約

ウェアラブル センサーによる人間の活動の検出に関する研究は非常に活発な分野であり、フィットネス コーチングによる医療患者の外来モニタリングから手作業プロセスの合理化まで、数多くの応用に恩恵をもたらしています。
我々は、実際のデータに焦点を当てたユーザー調査で利用される、一般的に使用される 4 つの異なるアノテーション方法を比較する実証研究を紹介します。
これらの方法は、ユーザー主導のその場での注釈 (アクティビティの記録前または記録中に実行されます) と、参加者が 1 日の終わりに後からデータに注釈を付けるリコール方法にグループ化できます。
私たちの研究は、さまざまなラベル付け方法が、アノテーションの品質と、それぞれのデータでトレーニングされた深層学習分類器の機能に直接影響を与えることを示しています。
私たちは、in situ メソッドの方が、リコールメソッドよりも少ないながらもより正確なラベルを生成することに気づきました。
さらに、活動日記と視覚化ツールを組み合わせて、参加者が自分の活動データを調べてラベルを付けることができるようにしました。
このようなツールの導入により、注釈の欠落が減少し、注釈の一貫性が向上したため、深層学習モデルの F1 スコアが最大 8% (F1 スコア 82.1 ～ 90.4% の範囲) 向上しました。
さらに、私たちの研究で比較した方法の長所と短所、それらの方法が導入する可能性のあるバイアス、人間の活動認識研究におけるそれらの使用の影響、および考えられる解決策について説明します。

要約(オリジナル)

Research into the detection of human activities from wearable sensors is a highly active field, benefiting numerous applications, from ambulatory monitoring of healthcare patients via fitness coaching to streamlining manual work processes. We present an empirical study that compares 4 different commonly used annotation methods utilized in user studies that focus on in-the-wild data. These methods can be grouped in user-driven, in situ annotations – which are performed before or during the activity is recorded – and recall methods – where participants annotate their data in hindsight at the end of the day. Our study illustrates that different labeling methodologies directly impact the annotations’ quality, as well as the capabilities of a deep learning classifier trained with the data respectively. We noticed that in situ methods produce less but more precise labels than recall methods. Furthermore, we combined an activity diary with a visualization tool that enables the participant to inspect and label their activity data. Due to the introduction of such a tool were able to decrease missing annotations and increase the annotation consistency, and therefore the F1-score of the deep learning model by up to 8% (ranging between 82.1 and 90.4% F1-score). Furthermore, we discuss the advantages and disadvantages of the methods compared in our study, the biases they may could introduce and the consequences of their usage on human activity recognition studies and as well as possible solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google