TIFeD: a Tiny Integer-based Federated learning algorithm with Direct feedback alignment

要約

極度にリソースに制約のあるデバイス上で機械および深層学習モデルを直接トレーニングすることは、小型機械学習の分野における次の課題です。
ほとんどのソリューションはオンライン学習によるオンデバイス推論またはモデル適応のみに焦点を当てており、トレーニングは外部クラウド サービスで実行されるため、この分野の関連文献は非常に限られています。
興味深い技術的観点は、フェデレーテッド ラーニング (FL) を活用することです。これにより、複数のデバイスが分散された方法で共有モデルを共同でトレーニングできるようになります。
ただし、最先端の FL アルゴリズムの主な欠点は、小型デバイスでの実行には適していないことです。
この論文では、文献で初めて、整数のみの演算を使用して完全に実装され、限られたリソースを持つデバイスで動作するように特別に設計された、ダイレクト フィードバック アライメント (DFA) を備えた極小整数ベースのフェデレーテッド ラーニング アルゴリズムである TIFeD を紹介します。
メモリ、計算、エネルギーの点で。
FL 設定の各デバイスが独自のローカル データに基づいてニューラル ネットワーク全体をトレーニングする従来のフルネットワーク動作モダリティに加えて、各デバイスがニューラル ネットワークの一部のみをトレーニングできる革新的な単層 TIFeD 実装を提案します。
ネットワーク モデルを利用し、学習手順を複数のデバイスに分散する新しい方法への扉を開きます。
実験結果は、提案されたソリューションの実現可能性と有効性を示しています。
提案された TIFeD アルゴリズムは、フルネットワークおよび単一レイヤーの実装を備えており、パブリック リポジトリとして科学コミュニティに公開されています。

要約(オリジナル)

Training machine and deep learning models directly on extremely resource-constrained devices is the next challenge in the field of tiny machine learning. The related literature in this field is very limited, since most of the solutions focus only on on-device inference or model adaptation through online learning, leaving the training to be carried out on external Cloud services. An interesting technological perspective is to exploit Federated Learning (FL), which allows multiple devices to collaboratively train a shared model in a distributed way. However, the main drawback of state-of-the-art FL algorithms is that they are not suitable for running on tiny devices. For the first time in the literature, in this paper we introduce TIFeD, a Tiny Integer-based Federated learning algorithm with Direct Feedback Alignment (DFA) entirely implemented by using an integer-only arithmetic and being specifically designed to operate on devices with limited resources in terms of memory, computation and energy. Besides the traditional full-network operating modality, in which each device of the FL setting trains the entire neural network on its own local data, we propose an innovative single-layer TIFeD implementation, which enables each device to train only a portion of the neural network model and opens the door to a new way of distributing the learning procedure across multiple devices. The experimental results show the feasibility and effectiveness of the proposed solution. The proposed TIFeD algorithm, with its full-network and single-layer implementations, is made available to the scientific community as a public repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google