Fully Distributed Fog Load Balancing with Multi-Agent Reinforcement Learning

要約

リアルタイムのモノのインターネット（IoT）アプリケーションでは、IoTワークロードを処理するためのコンピューティングリソースに対する増え続ける需要を処理するためのリアルタイムサポートが必要です。
FOGコンピューティングは、このようなリソースの高可用性を分散した方法で提供します。
ただし、これらのリソースは、不均一な霧リソース間に予測不可能なトラフィックの需要を配布するために効率的に管理する必要があります。
このホワイトペーパーでは、FOGネットワ​​ークで公正なリソース利用を提供しながら、待機時間を最適化するためにIoTワークロードをインテリジェントに配布するマルチエージェント補強学習（MARL）を備えた完全に分散された負荷分散ソリューションを提案します。
これらのエージェントは、生涯にわたる自己適応のために転送学習を使用して、環境の動的な変化を行います。
分散意思決定を活用することにより、MARLエージェントは、単一の集中エージェントソリューションと他のベースラインと比較して待機時間を効果的に最小化し、エンドツーエンドの実行遅延を強化します。
パフォーマンスゲインに加えて、完全に分散されたソリューションにより、エージェントが小さなコラボレーション地域で独立して作業できるグローバルスケールの実装が可能になり、近くのローカルリソースを活用できます。
さらに、必要なアクションごとに観察をリアルタイムで容易に入手できる文献の非現実的な一般的な仮定とは異なり、環境の状態を観察するために現実的な頻度の影響を分析します。
この調査結果は、生成されたすべてのワークロードのリアルタイム観測の可用性を想定することに対して、インターバルベースのゴシップベースのマルチキャスティングプロトコルを使用して、リアリズムとパフォーマンスのトレードオフを強調しています。

要約(オリジナル)

Real-time Internet of Things (IoT) applications require real-time support to handle the ever-growing demand for computing resources to process IoT workloads. Fog Computing provides high availability of such resources in a distributed manner. However, these resources must be efficiently managed to distribute unpredictable traffic demands among heterogeneous Fog resources. This paper proposes a fully distributed load-balancing solution with Multi-Agent Reinforcement Learning (MARL) that intelligently distributes IoT workloads to optimize the waiting time while providing fair resource utilization in the Fog network. These agents use transfer learning for life-long self-adaptation to dynamic changes in the environment. By leveraging distributed decision-making, MARL agents effectively minimize the waiting time compared to a single centralized agent solution and other baselines, enhancing end-to-end execution delay. Besides performance gain, a fully distributed solution allows for a global-scale implementation where agents can work independently in small collaboration regions, leveraging nearby local resources. Furthermore, we analyze the impact of a realistic frequency to observe the state of the environment, unlike the unrealistic common assumption in the literature of having observations readily available in real-time for every required action. The findings highlight the trade-off between realism and performance using an interval-based Gossip-based multi-casting protocol against assuming real-time observation availability for every generated workload.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google