Combinatorial Stochastic-Greedy Bandit

要約

各タイムステップ $t\in [T]$ における選択された $n$ アームのセットの共同報酬以外に追加情報がない場合の、組み合わせマルチアームバンディット問題に対する新しい組み合わせ確率的貪欲バンディット (SGB) アルゴリズムを提案します。
が観察されている。
SGB は、最適化された確率的探索、その後コミットのアプローチを採用しており、大規模なベース アーム セットを使用するシナリオ向けに特別に設計されています。
各選択ステップで未選択のベース アームのセット全体を調査する既存の方法とは異なり、SGB アルゴリズムは、未選択のアームの最適化された割合のみをサンプリングし、このサブセットからアクションを選択します。
私たちのアルゴリズムが $\mathcal{O}(n^{\frac{1}{3}} k^{\frac{2}{3}) の $(1-1/e)$-regret 限界を達成することを証明します。
} T^{\frac{2}{3}} \log(T)^{\frac{2}{3}})$ 単調確率的サブモジュラー報酬の場合、これは次の点で最先端のものを上回ります。
カーディナリティ制約 $k$。
さらに、オンラインでの制約のある社会的影響力の最大化という文脈でアルゴリズムのパフォーマンスを経験的に評価します。
私たちの結果は、私たちが提案したアプローチが他のアルゴリズムよりも常に優れたパフォーマンスを示し、$k$ が増加するにつれてパフォーマンスの差が増大することを示しています。

要約(オリジナル)

We propose a novel combinatorial stochastic-greedy bandit (SGB) algorithm for combinatorial multi-armed bandit problems when no extra information other than the joint reward of the selected set of $n$ arms at each time step $t\in [T]$ is observed. SGB adopts an optimized stochastic-explore-then-commit approach and is specifically designed for scenarios with a large set of base arms. Unlike existing methods that explore the entire set of unselected base arms during each selection step, our SGB algorithm samples only an optimized proportion of unselected arms and selects actions from this subset. We prove that our algorithm achieves a $(1-1/e)$-regret bound of $\mathcal{O}(n^{\frac{1}{3}} k^{\frac{2}{3}} T^{\frac{2}{3}} \log(T)^{\frac{2}{3}})$ for monotone stochastic submodular rewards, which outperforms the state-of-the-art in terms of the cardinality constraint $k$. Furthermore, we empirically evaluate the performance of our algorithm in the context of online constrained social influence maximization. Our results demonstrate that our proposed approach consistently outperforms the other algorithms, increasing the performance gap as $k$ grows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google