Federating Dynamic Models using Early-Exit Architectures for Automatic Speech Recognition on Heterogeneous Clients

要約

自動音声認識モデルでは、トレーニングのために大量の音声録音が必要です。
ただし、そのようなデータの収集は多くの場合面倒であり、プライバシーの問題につながります。
フェデレーテッド ラーニングは、データをさまざまなクライアント上でローカルに保ちながら、共有予測モデルを共同で学習する効果的な分散手法として広く使用されています。
残念ながら、クライアント デバイスの計算リソースと通信リソースが限られていることが多く、大規模なモデルでは実際的な困難が生じます。
さらに、エッジ デバイスの特徴である異質性により、すべてのエッジ デバイスに適合する単一のモデルを生成することは次善の策となります。
異なるアーキテクチャを持つ複数のモデルが使用されている最近の文献とは異なり、この研究では、早期終了ソリューションを採用し、入力と操作条件に応じて処理 (つまり、通過した層) を適応させることができる動的アーキテクチャの使用を提案します。
。
このソリューションは部分トレーニング方法の領域に属し、2 つの利点をもたらします。単一のモデルがさまざまなデバイスで使用されます。
ローカルトレーニング後のモデルのフェデレーションは簡単です。
公開データセットでの実験では、私たちが提案したアプローチが効果的であり、基本的なフェデレーテッド ラーニング戦略と組み合わせることができることが示されています。

要約(オリジナル)

Automatic speech recognition models require large amounts of speech recordings for training. However, the collection of such data often is cumbersome and leads to privacy concerns. Federated learning has been widely used as an effective decentralized technique that collaboratively learns a shared prediction model while keeping the data local on different clients. Unfortunately, client devices often feature limited computation and communication resources leading to practical difficulties for large models. In addition, the heterogeneity that characterizes edge devices makes it sub-optimal to generate a single model that fits all of them. Differently from the recent literature, where multiple models with different architectures are used, in this work, we propose using dynamical architectures which, employing early-exit solutions, can adapt their processing (i.e. traversed layers) depending on the input and on the operation conditions. This solution falls in the realm of partial training methods and brings two benefits: a single model is used on a variety of devices; federating the models after local training is straightforward. Experiments on public datasets show that our proposed approach is effective and can be combined with basic federated learning strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google