TinyMetaFed: Efficient Federated Meta-Learning for TinyML

要約

Tiny Machine Learning (TinyML) の分野は、マイクロコントローラーなどの低フットプリント デバイスでの機械学習の民主化において大幅な進歩を遂げました。
これらの小型デバイスの普及により、その知識を集約することが TinyML アプリケーションに利益をもたらすかどうかという疑問が生じます。
フェデレーション メタ学習は、現実世界のラベル付きデータの不足とデバイス間での異種データの分散に対処するため、この質問に対する有望な答えです。
ただし、TinyML ハードウェアの導入には固有のリソース制約があり、エネルギー、プライバシー、通信の制限により既存の方法は実用的ではありません。
TinyML に適したモデルに依存しないメタ学習フレームワークである TinyMetaFed を紹介します。
TinyMetaFed は、新しいデバイス上で迅速に微調整できるニューラル ネットワーク初期化の共同トレーニングを容易にします。
部分的なローカル再構築とトップ P% の選択的通信による通信の節約とプライバシー保護、オンライン学習による計算効率、および少数ショット学習によるクライアントの異種混合に対する堅牢性を提供します。
3 つの TinyML ユースケースの評価は、TinyMetaFed がエネルギー消費と通信オーバーヘッドを大幅に削減し、コンバージェンスを加速し、トレーニング プロセスを安定化できることを示しています。

要約(オリジナル)

The field of Tiny Machine Learning (TinyML) has made substantial advancements in democratizing machine learning on low-footprint devices, such as microcontrollers. The prevalence of these miniature devices raises the question of whether aggregating their knowledge can benefit TinyML applications. Federated meta-learning is a promising answer to this question, as it addresses the scarcity of labeled data and heterogeneous data distribution across devices in the real world. However, deploying TinyML hardware faces unique resource constraints, making existing methods impractical due to energy, privacy, and communication limitations. We introduce TinyMetaFed, a model-agnostic meta-learning framework suitable for TinyML. TinyMetaFed facilitates collaborative training of a neural network initialization that can be quickly fine-tuned on new devices. It offers communication savings and privacy protection through partial local reconstruction and Top-P% selective communication, computational efficiency via online learning, and robustness to client heterogeneity through few-shot learning. The evaluations on three TinyML use cases demonstrate that TinyMetaFed can significantly reduce energy consumption and communication overhead, accelerate convergence, and stabilize the training process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google