Implicitly normalized forecaster with clipping for linear and non-linear heavy-tailed multi-armed bandits

要約

Implicitly Normalized Forecaster（Tsallisエントロピーをprox関数とするオンラインミラー降下）は、敵対的多腕問題（MAB）の最適アルゴリズムであることが知られている。しかし、その複雑さのほとんどは、報酬の束縛や他の制限的な仮定に依存しています。最近、敵対的かつ確率的なヘビーテールMABの設定に対して、密接に関連するベストオブボスワールドアルゴリズムが提案された。このアルゴリズムは両設定において最適であることが知られているが、データを十分に利用することができない。本論文では、報酬の重税分布を持つMAB問題に対して、クリッピングを用いた暗黙的正規化フォーキャスターを提案する。報酬分布に関する穏やかな仮定の下で収束結果を導出し、提案手法が線形および非線形の重尾翼確率的MAB問題の両方に対して最適であることを示す。また、本方法は通常、ベストオブツーワールドアルゴリズムと比較して良好な性能を示す。

要約(オリジナル)

Implicitly Normalized Forecaster (online mirror descent with Tsallis entropy as prox-function) is known to be an optimal algorithm for adversarial multi-armed problems (MAB). However, most of the complexity results rely on bounded rewards or other restrictive assumptions. Recently closely related best-of-both-worlds algorithm were proposed for both adversarial and stochastic heavy-tailed MAB settings. This algorithm is known to be optimal in both settings, but fails to exploit data fully. In this paper, we propose Implicitly Normalized Forecaster with clipping for MAB problems with heavy-tailed distribution on rewards. We derive convergence results under mild assumptions on rewards distribution and show that the proposed method is optimal for both linear and non-linear heavy-tailed stochastic MAB problems. Also we show that algorithm usually performs better compared to best-of-two-worlds algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL