PP-MARL: Efficient Privacy-Preserving Multi-Agent Reinforcement Learning for Cooperative Intelligence in Communications

要約

Cooperative Intelligence（CI）は、複数のデバイスの機能とインテリジェンスを集約できるため、次世代ネットワークの不可欠な要素になると予想されます。
マルチエージェント強化学習（MARL）は、エージェント間の効果的なコラボレーションが連続的な問題に対処できるようにすることにより、コミュニケーションの問題でCIを達成するための一般的なアプローチです。
ただし、MARLのプライバシー保護を確保することは、情報を共有することで依存して学習する不均一なエージェントが存在するため、困難な作業です。
データ暗号化やMARLの連合学習などのプライバシー保護手法を実装すると、顕著なオーバーヘッド（計算や帯域幅など）が導入されます。
これらの課題を克服するために、MARLの効率的なプライバシーを提供する学習スキームであるPP-MARLを提案します。
PP-MARLは、パモモルフィック暗号化（HE）および差別的なプライバシー（DP）を活用してプライバシーを保護し、共有メッセージの量を減らして効率を向上させることでオーバーヘッドを減らすために分割学習を導入します。
2つの通信関連のユースケースでPP-MARLを適用および評価します。
シミュレーション結果は、PP-MARLが最先端のアプローチよりも1.1〜6倍優れたプライバシー保護とより低いオーバーヘッド（帯域幅の84〜91％の減少）で効率的かつ信頼できるコラボレーションを達成できることを明らかにしています。

要約(オリジナル)

Cooperative intelligence (CI) is expected to become an integral element in next-generation networks because it can aggregate the capabilities and intelligence of multiple devices. Multi-agent reinforcement learning (MARL) is a popular approach for achieving CI in communication problems by enabling effective collaboration among agents to address sequential problems. However, ensuring privacy protection for MARL is a challenging task because of the presence of heterogeneous agents that learn interdependently via sharing information. Implementing privacy protection techniques such as data encryption and federated learning to MARL introduces the notable overheads (e.g., computation and bandwidth). To overcome these challenges, we propose PP-MARL, an efficient privacy-preserving learning scheme for MARL. PP-MARL leverages homomorphic encryption (HE) and differential privacy (DP) to protect privacy, while introducing split learning to decrease overheads via reducing the volume of shared messages, and then improve efficiency. We apply and evaluate PP-MARL in two communication-related use cases. Simulation results reveal that PP-MARL can achieve efficient and reliable collaboration with 1.1-6 times better privacy protection and lower overheads (e.g., 84-91% reduction in bandwidth) than state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google