SensorLLM: Human-Intuitive Alignment of Multivariate Sensor Data with LLMs for Activity Recognition

要約

SensorllMは、ウェアラブルセンサーデータから人間の活動認識（HAR）を実行できるようにする2段階のフレームワークである2段階のフレームワークです。
LLMSは推論と一般化に優れていますが、限られたセマンティックコンテキスト、数値の複雑さ、シーケンスのばらつきにより、時系列の入力と格闘しています。
これらの課題に対処するために、多様なHARシナリオにまたがる人間に反対するセンサーテキストペアの質問を消費するデータセットであるSensorQAを構築します。
センサー言語アライメントステージを監督し、モデルがセンサーの入力をトレンドの説明と整列させます。
特別なトークンは、マークチャネルの境界に導入されています。
このアライメントにより、LLMは数値パターン、チャネル固有の信号、および可変長入力を解釈できます。
その後のタスク対応チューニング段階では、モデルを多変量HAR分類に適応させ、最先端の方法に一致またはそれを超えるパフォーマンスを実現します。
我々の結果は、人間に直感的なアライメントに導かれて、Sensorllmが効果的なセンサー学習者、推論者、および分類器になることを示しています。

要約(オリジナル)

We introduce SensorLLM, a two-stage framework that enables Large Language Models (LLMs) to perform human activity recognition (HAR) from wearable sensor data. While LLMs excel at reasoning and generalization, they struggle with time-series inputs due to limited semantic context, numerical complexity, and sequence variability. To address these challenges, we construct SensorQA, a question-answering dataset of human-intuitive sensor-text pairs spanning diverse HAR scenarios. It supervises the Sensor-Language Alignment stage, where the model aligns sensor inputs with trend descriptions. Special tokens are introduced to mark channel boundaries. This alignment enables LLMs to interpret numerical patterns, channel-specific signals, and variable-length inputs–without requiring human annotation. In the subsequent Task-Aware Tuning stage, we adapt the model for multivariate HAR classification, achieving performance that matches or exceeds state-of-the-art methods. Our results show that, guided by human-intuitive alignment, SensorLLM becomes an effective sensor learner, reasoner, and classifier–generalizing across varied HAR settings and paving the way for foundation model research in time-series analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google