Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis

要約

異常データと欠落データは、産業用途において厄介な問題となります。
近年、ディープラーニングによる異常検出が重要な方向性として浮上していますが、検出精度の向上は大規模なニューラル ネットワークの利用によって実現され、ストレージと計算コストが増加します。
さらに、エッジ デバイスで収集されたデータにはユーザーのプライバシーが含まれており、フェデレーテッド ラーニング (FL) として知られるプライバシーを保護する分散パラダイムによってうまく対処できる課題が生じます。
このフレームワークにより、エッジ デバイスがモデルをトレーニングおよび交換できるようになり、通信コストも増加します。
したがって、FL ベースの深い異常検出の増加する通信、処理、およびストレージの課題に対処するために、NN プルーニングは、処理、ストレージ、および通信の複雑さの軽減に向けて大きな利点をもたらすことが期待されます。
これに焦点を当てて、ブロードキャストで受信したローカル モデルを混乱させ、プルーニングを実行してより圧縮されたモデルを生成する、FL パラダイムのサーバー側で新しい圧縮ベースの最適化問題が提案されます。
異常検出と欠損値補完のコンテキストでの実験により、提案された FL シナリオと提案された圧縮ベースの方法が、無視できるほどのパフォーマンス損失 ($1.18\% 未満) で高い圧縮率 ($99.7\%$ 以上) を達成できることが実証されました。
$ ) を集中型ソリューションと比較して説明します。

要約(オリジナル)

Anomaly and missing data constitute a thorny problem in industrial applications. In recent years, deep learning enabled anomaly detection has emerged as a critical direction, however the improved detection accuracy is achieved with the utilization of large neural networks, increasing their storage and computational cost. Moreover, the data collected in edge devices contain user privacy, introducing challenges that can be successfully addressed by the privacy-preserving distributed paradigm, known as federated learning (FL). This framework allows edge devices to train and exchange models increasing also the communication cost. Thus, to deal with the increased communication, processing and storage challenges of the FL based deep anomaly detection NN pruning is expected to have significant benefits towards reducing the processing, storage and communication complexity. With this focus, a novel compression-based optimization problem is proposed at the server-side of a FL paradigm that fusses the received local models broadcast and performs pruning generating a more compressed model. Experiments in the context of anomaly detection and missing value imputation demonstrate that the proposed FL scenario along with the proposed compressed-based method are able to achieve high compression rates (more than $99.7\%$) with negligible performance losses (less than $1.18\%$ ) as compared to the centralized solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google