In Shift and In Variance: Assessing the Robustness of HAR Deep Learning Models against Variability

要約

ウェアラブル慣性測定ユニット（IMU）センサーを使用した人間の活動認識（HAR）は、継続的な健康監視、疾患予測、および日常的な認識を可能にすることにより、ヘルスケアに革命をもたらすことができます。
深い学習（DL）HARモデルの高精度にもかかわらず、実世界の変動に対する堅牢性は、主に限られたラボに環境に包まれたデータで訓練およびテストされているため、テストされていないままです。
この研究では、被験者、デバイス、位置、および方向の変動を分離して、DL HARモデルへの影響を判断し、実際の条件でのこれらのモデルの堅牢性を評価します。
HARVARおよびREALDISPデータセットを使用してDL HARモデルを評価し、データ分布のシフトとモデルパフォーマンスの変化に対する変動の影響に関する包括的な議論を提供しました。
私たちの実験では、最大平均不一致（MMD）を使用したデータ分布のシフトを測定し、変動性によりDLモデルのパフォーマンス低下が観察されました。
研究されたばらつきがDL HARモデルに異なる影響を与えることに同意し、データ分布のシフトとモデルのパフォーマンスの間に逆の関係があることに同意します。
変動性の複利効果を分析し、実際のシナリオにおける変動の意味が強調されました。
MMDは、データ分布シフトを計算するための効果的なメトリックであることを証明し、HarvarおよびRealdispデータセットの変動によりパフォーマンスの低下を説明しました。
変動性の理解とその効果の評価を組み合わせることで、より堅牢なDL HARモデルと最適なトレーニング技術の開発が促進されます。
将来のモデルを最大F1スコアだけでなく、効果的に一般化する能力にも基づいて評価できるようにする

要約(オリジナル)

Human Activity Recognition (HAR) using wearable inertial measurement unit (IMU) sensors can revolutionize healthcare by enabling continual health monitoring, disease prediction, and routine recognition. Despite the high accuracy of Deep Learning (DL) HAR models, their robustness to real-world variabilities remains untested, as they have primarily been trained and tested on limited lab-confined data. In this study, we isolate subject, device, position, and orientation variability to determine their effect on DL HAR models and assess the robustness of these models in real-world conditions. We evaluated the DL HAR models using the HARVAR and REALDISP datasets, providing a comprehensive discussion on the impact of variability on data distribution shifts and changes in model performance. Our experiments measured shifts in data distribution using Maximum Mean Discrepancy (MMD) and observed DL model performance drops due to variability. We concur that studied variabilities affect DL HAR models differently, and there is an inverse relationship between data distribution shifts and model performance. The compounding effect of variability was analyzed, and the implications of variabilities in real-world scenarios were highlighted. MMD proved an effective metric for calculating data distribution shifts and explained the drop in performance due to variabilities in HARVAR and REALDISP datasets. Combining our understanding of variability with evaluating its effects will facilitate the development of more robust DL HAR models and optimal training techniques. Allowing Future models to not only be assessed based on their maximum F1 score but also on their ability to generalize effectively

arxiv情報

提供元, 利用サービス

arxiv.jp, Google