CyberForce: A Federated Reinforcement Learning Framework for Malware Mitigation

要約

最近の研究では、強化学習 (RL) と移動標的防御 (MTD) の統合により、モノのインターネット (IoT) デバイスのサイバーセキュリティを強化できることが示されています。
それにもかかわらず、既存の研究の実用性は、RL での集中データ処理に関連するデータ プライバシーの懸念と、増加する異種ゼロデイ攻撃に有効な適切な MTD テクニックを学習するのに十分な時間が必要なことによって妨げられています。
したがって、この研究では、フェデレーテッド ラーニングと強化学習 (FRL) を組み合わせたフレームワークである Cyber​​Force を紹介し、ゼロデイ攻撃を軽減するための適切な MTD テクニックを共同的かつ非公開で学習します。
Cyber​​Force は、デバイスのフィンガープリンティングと異常検出を統合し、FRL ベースのエージェントによって選択された MTD メカニズムに報酬を与えたり、ペナルティを与えたりします。
このフレームワークは、異種マルウェア サンプルの影響を受ける実際の IoT プラットフォームの 10 台の物理デバイスで構成されるシナリオで展開され、評価されました。
一連の実験により、Cyber​​Force は既存の RL ベースの集中型アプローチよりも早く各攻撃を軽減する MTD 手法を学習することが実証されました。
さらに、さまざまなデバイスがさまざまな攻撃にさらされた場合、Cyber​​Force は知識伝達の恩恵を受け、最近の作品と比較してパフォーマンスの向上と学習時間の短縮につながります。
最後に、エージェントの学習プロセス中に使用されるさまざまな集約アルゴリズムにより、Cyber​​Force は悪意のある攻撃に対する顕著な堅牢性を実現します。

要約(オリジナル)

Recent research has shown that the integration of Reinforcement Learning (RL) with Moving Target Defense (MTD) can enhance cybersecurity in Internet-of-Things (IoT) devices. Nevertheless, the practicality of existing work is hindered by data privacy concerns associated with centralized data processing in RL, and the unsatisfactory time needed to learn right MTD techniques that are effective against a rising number of heterogeneous zero-day attacks. Thus, this work presents CyberForce, a framework that combines Federated and Reinforcement Learning (FRL) to collaboratively and privately learn suitable MTD techniques for mitigating zero-day attacks. CyberForce integrates device fingerprinting and anomaly detection to reward or penalize MTD mechanisms chosen by an FRL-based agent. The framework has been deployed and evaluated in a scenario consisting of ten physical devices of a real IoT platform affected by heterogeneous malware samples. A pool of experiments has demonstrated that CyberForce learns the MTD technique mitigating each attack faster than existing RL-based centralized approaches. In addition, when various devices are exposed to different attacks, CyberForce benefits from knowledge transfer, leading to enhanced performance and reduced learning time in comparison to recent works. Finally, different aggregation algorithms used during the agent learning process provide CyberForce with notable robustness to malicious attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google