Lightweight Transformer in Federated Setting for Human Activity Recognition

要約

人間活動認識（HAR）は、ヘルスケア、特に患者や高齢者の在宅介護の文脈で重要なアプリケーションを持つ機械学習タスクです。HARは、スマートセンサー、特にスマートフォンなどのスマートホームIoTデバイス、ウェアラブル、その他のボディセンサーから収集したデータに基づいて行われることが多い。畳み込みニューラルネットワーク（CNN）やリカレントニューラルネットワーク（RNN）などの深層学習技術は、集中型と連合型の両方の設定で、HARに使用されてきました。しかし、これらの技術には一定の限界があります。RNNは並列化が難しく、CNNは配列長に制限があり、どちらも計算コストが高い。さらに、在宅医療アプリケーションでは、HAR分類器によって使用されるセンサーが、在宅の人々に関する非常に個人的で機密性の高いデータを多く収集するため、集中型アプローチはプライバシーに関する深刻な懸念を引き起こす可能性がある。本論文では、HARが直面するこのような課題のいくつかを解決するために、RNNとCNNの利点をそれらの大きな制限なしに組み合わせることができる新しい軽量（ワンパッチ）変換器と、提案した軽量変換器を用いた、よりプライバシーに優しい連合学習ベースのHAR分類器であるTransFedを提案します。我々は、募集した5人の人間から新しいHARデータセットを構築するテストベッドを設計し、その新しいデータセットを用いて、提案するHAR分類器の性能を連合学習型と集中学習型の両方で評価する。さらに、既存のHAR分類器と比較するために、別の公開データセットを用いて、提案するHAR分類器の中央集権的な性能評価を行いました。実験の結果、提案するHAR分類器は、CNNやRNNを用いた最新のHAR分類器を上回り、かつ計算効率が高いことが示された。

要約(オリジナル)

Human activity recognition (HAR) is a machine learning task with important applications in healthcare especially in the context of home care of patients and older adults. HAR is often based on data collected from smart sensors, particularly smart home IoT devices such as smartphones, wearables and other body sensors. Deep learning techniques like convolutional neural networks (CNNs) and recurrent neural networks (RNNs) have been used for HAR, both in centralized and federated settings. However, these techniques have certain limitations: RNNs cannot be easily parallelized, CNNs have the limitation of sequence length, and both are computationally expensive. Moreover, in home healthcare applications the centralized approach can raise serious privacy concerns since the sensors used by a HAR classifier collect a lot of highly personal and sensitive data about people in the home. In this paper, to address some of such challenges facing HAR, we propose a novel lightweight (one-patch) transformer, which can combine the advantages of RNNs and CNNs without their major limitations, and also TransFed, a more privacy-friendly, federated learning-based HAR classifier using our proposed lightweight transformer. We designed a testbed to construct a new HAR dataset from five recruited human participants, and used the new dataset to evaluate the performance of the proposed HAR classifier in both federated and centralized settings. Additionally, we use another public dataset to evaluate the performance of the proposed HAR classifier in centralized setting to compare it with existing HAR classifiers. The experimental results showed that our proposed new solution outperformed state-of-the-art HAR classifiers based on CNNs and RNNs, whiling being more computationally efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL