Efficient Training of Large-scale Industrial Fault Diagnostic Models through Federated Opportunistic Block Dropout

要約

人工知能 (AI) を活用した産業用障害診断は、産業用アプリケーションの安全な動作を確保する上で重要です。
多くの場合、複雑な産業システムには複数の産業プラント (異なる会社または子会社に属する可能性があります) が含まれ、機密データが分散して収集および保存されるため、協調的な障害診断モデルのトレーニングでは、多くの場合、フェデレーテッド ラーニング (FL) を活用する必要があります。
産業用故障診断モデルの規模はしばしば大規模であり、そのようなシステムの通信チャネルは FL モデル トレーニング専用に使用されないことが多いため、既存の展開された FL モデル トレーニング フレームワークでは、複数の機関にわたってそのようなモデルを効率的にトレーニングすることはできません。
このホワイト ペーパーでは、産業用障害診断モデル トレーニングのためのフェデレーテッド オポチュニスティック ブロック ドロップアウト (FEDOBD) アプローチを開発および展開した経験を報告します。
大規模なモデルをセマンティック ブロックに分解し、FL 参加者が選択した重要なブロックを量子化された方法で日和見的にアップロードできるようにすることで、モデルのパフォーマンスを維持しながら通信オーバーヘッドを大幅に削減します。
2022 年 2 月に ENN グループに導入されて以来、FEDOBD は中国の 2 つの都市にまたがる 2 つの石炭化学プラントにサービスを提供し、産業障害予測モデルを構築してきました。
これにより、同社は以前の AI エンジンと比較してトレーニング通信のオーバーヘッドを 70% 以上削減しながら、モデルのパフォーマンスを 85% 以上のテスト F1 スコアで維持することができました。
私たちの知る限り、これはドロップアウトベースの FL アプローチの展開に成功した最初のものです。

要約(オリジナル)

Artificial intelligence (AI)-empowered industrial fault diagnostics is important in ensuring the safe operation of industrial applications. Since complex industrial systems often involve multiple industrial plants (possibly belonging to different companies or subsidiaries) with sensitive data collected and stored in a distributed manner, collaborative fault diagnostic model training often needs to leverage federated learning (FL). As the scale of the industrial fault diagnostic models are often large and communication channels in such systems are often not exclusively used for FL model training, existing deployed FL model training frameworks cannot train such models efficiently across multiple institutions. In this paper, we report our experience developing and deploying the Federated Opportunistic Block Dropout (FEDOBD) approach for industrial fault diagnostic model training. By decomposing large-scale models into semantic blocks and enabling FL participants to opportunistically upload selected important blocks in a quantized manner, it significantly reduces the communication overhead while maintaining model performance. Since its deployment in ENN Group in February 2022, FEDOBD has served two coal chemical plants across two cities in China to build industrial fault prediction models. It helped the company reduce the training communication overhead by over 70% compared to its previous AI Engine, while maintaining model performance at over 85% test F1 score. To our knowledge, it is the first successfully deployed dropout-based FL approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google