Enhancing Efficiency in Multidevice Federated Learning through Data Selection

要約

ユビキタスなウェアラブルおよびモバイルデバイスは、多様なデータセットへのアクセスを提供します。
ただし、デバイスのモビリティ需要は、自然に計算機能と通信機能に制約を課します。
解決策は、データを元の形式で保存および送信するのではなく、ユビキタスデバイスによってキャプチャされたデータから知識をローカルに学習することです。
このホワイトペーパーでは、Centaurと呼ばれるフェデレート学習フレームワークを開発し、エッジにデバイス上のデータ選択を組み込むことができます。これにより、同じユーザーのマルチデバイスエコシステム内の制約されたデバイスと機知に富んだデバイス間のコラボレーションを通じて、深いニューラルネットのパーティションベースのトレーニングが可能になります。
5つのニューラルネットアーキテクチャと、画像データとウェアラブルセンサーの時系列を含む6つのデータセットについてベンチマークします。
平均して、Centaurは、ベースラインと比較して、分類精度が約19％高く、連邦トレーニングのレイテンシを約58％達成します。
また、不均衡な非IIDデータ、クライアント参加の不均一性、およびさまざまなモビリティパターンを扱うときにCentaurを評価します。
この分野でのさらなる研究を奨励するために、https：//github.com/nokia-bell-labs/data-centric-federated-learningでコードをリリースします

要約(オリジナル)

Ubiquitous wearable and mobile devices provide access to a diverse set of data. However, the mobility demand for our devices naturally imposes constraints on their computational and communication capabilities. A solution is to locally learn knowledge from data captured by ubiquitous devices, rather than to store and transmit the data in its original form. In this paper, we develop a federated learning framework, called Centaur, to incorporate on-device data selection at the edge, which allows partition-based training of a deep neural nets through collaboration between constrained and resourceful devices within the multidevice ecosystem of the same user. We benchmark on five neural net architecture and six datasets that include image data and wearable sensor time series. On average, Centaur achieves ~19% higher classification accuracy and ~58% lower federated training latency, compared to the baseline. We also evaluate Centaur when dealing with imbalanced non-iid data, client participation heterogeneity, and different mobility patterns. To encourage further research in this area, we release our code at https://github.com/nokia-bell-labs/data-centric-federated-learning

arxiv情報

提供元, 利用サービス

arxiv.jp, Google