Semantically Encoding Activity Labels for Context-Aware Human Activity Recognition

要約

以前の作業は、主にマルチラベル分類問題としてCa-HARを定式化しています。モデル入力は時系列センサーデータであり、ターゲットラベルは、特定のアクティビティまたはコンテキストが発生するかどうかを表すバイナリエンコーディングです。
これらのCa-HARメソッドは、各ラベルを独立して予測するか、グラフを使用して関係を手動で課しました。
ただし、両方の戦略はしばしば重要な側面を無視します。アクティビティラベルは豊富なセマンティック関係を持っています。
たとえば、ウォーキング、ジョギング、ランニングアクティビティは、同様の動きのパターンを共有しますが、ペースと強度が異なり、意味的に関連していることを示しています。
その結果、以前のCA-HARメソッドは、特に理想的なセンサータイプが利用できない場合（たとえば、オーディオセンサーのない音声を認識する）CAハーまたは状況に通常使用される騒々しいラベルを持つデータセットで、これらの固有の微妙な関係を正確にキャプチャするのに苦労しました。
この制限に対処するために、LMSを活用してCA-HARアクティビティラベルをエンコードしてセマンティック関係をキャプチャするシールを提案します。
LMSは、自然言語からの豊富なセマンティック情報を保持するベクトル埋め込みを生成します。
当社のシールアプローチは、スマートデバイスからの入力時間シリーズセンサーデータと、関連するアクティビティとコンテキストラベル（テキスト）をベクトル埋め込みとしてエンコードします。
トレーニング中、SEALは、センサーデータの表現を、共有された埋め込みスペースに対応するアクティビティ/コンテキストラベルの埋め込みに合わせます。
推論時に、シールは類似性検索を実行し、入力データに最も近い埋め込み表現を備えたCa-HARラベルを返します。
LMSは他のドメインで広く調査されていますが、驚くべきことに、Ca-HARでのその可能性は露出不足であり、私たちのアプローチがフィールドに新しい貢献をしています。
私たちの研究は、より高度なLMSをCA-HARタスクに統合するための新しい可能性を開きます。

要約(オリジナル)

Prior work has primarily formulated CA-HAR as a multi-label classification problem, where model inputs are time-series sensor data and target labels are binary encodings representing whether a given activity or context occurs. These CA-HAR methods either predicted each label independently or manually imposed relationships using graphs. However, both strategies often neglect an essential aspect: activity labels have rich semantic relationships. For instance, walking, jogging, and running activities share similar movement patterns but differ in pace and intensity, indicating that they are semantically related. Consequently, prior CA-HAR methods often struggled to accurately capture these inherent and nuanced relationships, particularly on datasets with noisy labels typically used for CA-HAR or situations where the ideal sensor type is unavailable (e.g., recognizing speech without audio sensors). To address this limitation, we propose SEAL, which leverage LMs to encode CA-HAR activity labels to capture semantic relationships. LMs generate vector embeddings that preserve rich semantic information from natural language. Our SEAL approach encodes input-time series sensor data from smart devices and their associated activity and context labels (text) as vector embeddings. During training, SEAL aligns the sensor data representations with their corresponding activity/context label embeddings in a shared embedding space. At inference time, SEAL performs a similarity search, returning the CA-HAR label with the embedding representation closest to the input data. Although LMs have been widely explored in other domains, surprisingly, their potential in CA-HAR has been underexplored, making our approach a novel contribution to the field. Our research opens up new possibilities for integrating more advanced LMs into CA-HAR tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google