SensorLLM: Aligning Large Language Models with Motion Sensors for Human Activity Recognition

要約

Sensorllmは、センサーデータから人間の活動認識（HAR）を実行できるようにする2段階のフレームワークです。
強い推論と一般化能力にもかかわらず、LLMは、数値入力の処理における意味シリーズ、計算上の制約、および課題がないため、モーションセンサーデータのために十分に活用されていません。
Sensorllmは、センサー言語アラインメント段階を介してこれらの制限に対処し、各センサーチャネルに特別なトークンを導入し、テキストトレンドの説明を自動的に生成します。
このアラインメントにより、LLMは数値の変動、チャネル固有の特徴、およびさまざまな期間のデータをキャプチャできます。
その後のタスク対応チューニング段階では、HAR分類のモデルを改良し、最先端の方法に一致または上回るパフォーマンスを実現します。
我々の結果は、SensorllMがセンサー言語のアライメントを介して効果的なセンサー学習者、推論、および分類器に進化し、多様なHARデータセット全体に一般化することを示しています。
この作業は、時系列とテキストの調整に関する将来の研究の基盤を確立し、センサーデータ分析の基礎モデルへの道を開いていると考えています。

要約(オリジナル)

We introduce SensorLLM, a two-stage framework that enables Large Language Models (LLMs) to perform human activity recognition (HAR) from sensor data. Despite their strong reasoning and generalization capabilities, LLMs remain underutilized for motion sensor data due to the lack of semantic context in time-series, computational constraints, and challenges in processing numerical inputs. SensorLLM addresses these limitations through a Sensor-Language Alignment stage, where we introduce special tokens for each sensor channel and automatically generate textual trend descriptions. This alignment enables LLMs to capture numerical variations, channel-specific features, and data of varying duration–without requiring human annotations. In the subsequent Task-Aware Tuning stage, we refine the model for HAR classification, achieving performance that matches or surpasses state-of-the-art methods. Our results demonstrate that SensorLLM evolves into an effective sensor learner, reasoner, and classifier through Sensor-Language Alignment, generalizing across diverse HAR datasets. We believe this work establishes a foundation for future research on time-series and text alignment, paving the way for foundation models in sensor data analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google