Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency

要約

複数のエージェントを調整して、予測不可能な環境でサブモードゥル機能を共同で最大化することは、機械学習、ロボット計画、および制御における多数のアプリケーションを備えた重要なタスクです。
OSGアルゴリズムなどの既存のアプローチは、貧弱な近似保証と、完全に接続された通信グラフの剛性要件によって妨げられることがよくあります。
これらの課題に対処するために、まず$ \ textbf {ma-osma} $ algorithmを提示します。これは、多次線形拡張を使用して離散サブモジュラー最大化問題を連続的な最適化に転送し、それによって完全な依存関係を完全に減らすことができます。
コンセンサステクニックによるグラフ。
さらに、$ \ textbf {ma-osma} $は、最適下の固定点を避けるために、新しい代理勾配を活用します。
$ \ textbf {ma-osma} $の計算集中的な投影操作を排除するために、均一な分布を混合してKL分岐を効果的に利用するプロジェクションのない$ \ textbf {ma-osea} $ algorithmも導入します。
理論的には、両方のアルゴリズムが$ \ widetilde {o}（\ sqrt {\ frac {c_ {t} t} {1- \ beta}}）$の$ \ widetilde {o}（\ sqrt {\ sqrt {c_ {t} t}）の後悔の境界を達成することを確認します。
^{ – c}} {c} {c}）$ – 後知恵の最良の比較器への近似。$ c_ {t} $はマキシマイザーシーケンスの偏差であり、$ \ beta $はネットワークのスペクトルギャップであり、$ c $は
サブモジュラー目標の共同湾曲。
この結果は、最先端のOSGアルゴリズムによって提供される$（\ frac {1} {1} {1+c}）$の近似を大幅に改善します。
最後に、シミュレーションベースのマルチターゲット追跡を通じて、提案されたアルゴリズムの有効性を実証します。

要約(オリジナル)

Coordinating multiple agents to collaboratively maximize submodular functions in unpredictable environments is a critical task with numerous applications in machine learning, robot planning and control. The existing approaches, such as the OSG algorithm, are often hindered by their poor approximation guarantees and the rigid requirement for a fully connected communication graph. To address these challenges, we firstly present a $\textbf{MA-OSMA}$ algorithm, which employs the multi-linear extension to transfer the discrete submodular maximization problem into a continuous optimization, thereby allowing us to reduce the strict dependence on a complete graph through consensus techniques. Moreover, $\textbf{MA-OSMA}$ leverages a novel surrogate gradient to avoid sub-optimal stationary points. To eliminate the computationally intensive projection operations in $\textbf{MA-OSMA}$, we also introduce a projection-free $\textbf{MA-OSEA}$ algorithm, which effectively utilizes the KL divergence by mixing a uniform distribution. Theoretically, we confirm that both algorithms achieve a regret bound of $\widetilde{O}(\sqrt{\frac{C_{T}T}{1-\beta}})$ against a $(\frac{1-e^{-c}}{c})$-approximation to the best comparator in hindsight, where $C_{T}$ is the deviation of maximizer sequence, $\beta$ is the spectral gap of the network and $c$ is the joint curvature of submodular objectives. This result significantly improves the $(\frac{1}{1+c})$-approximation provided by the state-of-the-art OSG algorithm. Finally, we demonstrate the effectiveness of our proposed algorithms through simulation-based multi-target tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google