Adaptive Budgeted Multi-Armed Bandits for IoT with Dynamic Resource Constraints

要約

モノのインターネット（IoT）システムは、エネルギーや帯域幅などの変動するリソースの制約を管理しながら、デバイスがリアルタイムで応答しなければならない環境で運用されることが増えている。しかし、現在のアプローチでは、運用上の制約が時間とともに変化するシナリオに対応できないことが多い。これらの制限に対処するために、我々は、動的な運用制限を持つIoTアプリケーションに合わせた新しいBudgeted Multi-Armed Banditフレームワークを提案する。我々のモデルは、学習プロセスの初期には制限された制約違反を許容し、時間の経過とともに徐々に厳しいコンプライアンスを強制する、減衰する違反予算を導入する。我々は、性能最適化と時間変化する制約への準拠のバランスを適応的にとるBudgeted Upper Confidence Bound (UCB)アルゴリズムを提示する。本論文では、Budgeted UCBが、学習ホライズンにおいて線形以下の後悔と対数の制約違反を達成することを理論的に保証する。無線通信の設定における広範なシミュレーションにより、本アプローチが標準的なオンライン学習手法よりも高速な適応と優れた制約充足を達成することを示す。これらの結果は、適応的でリソースを意識したIoTシステムを構築するためのフレームワークの可能性を強調している。

要約(オリジナル)

Internet of Things (IoT) systems increasingly operate in environments where devices must respond in real time while managing fluctuating resource constraints, including energy and bandwidth. Yet, current approaches often fall short in addressing scenarios where operational constraints evolve over time. To address these limitations, we propose a novel Budgeted Multi-Armed Bandit framework tailored for IoT applications with dynamic operational limits. Our model introduces a decaying violation budget, which permits limited constraint violations early in the learning process and gradually enforces stricter compliance over time. We present the Budgeted Upper Confidence Bound (UCB) algorithm, which adaptively balances performance optimization and compliance with time-varying constraints. We provide theoretical guarantees showing that Budgeted UCB achieves sublinear regret and logarithmic constraint violations over the learning horizon. Extensive simulations in a wireless communication setting show that our approach achieves faster adaptation and better constraint satisfaction than standard online learning methods. These results highlight the framework’s potential for building adaptive, resource-aware IoT systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL