Online Learning with Feedback Graphs: The True Shape of Regret

要約

フィードバック グラフを使用した逐次学習は、マルチアーム バンディット問題の自然な拡張であり、問​​題には追加情報を提供する基礎となるグラフ構造が装備されています。アクションを実行すると、アクションの隣接するすべての損失が明らかになります。
この問題は \citet{mannor2011} によって紹介され、近年かなりの注目を集めました。
一般に文献には、この問題の最小後悔率は $\sqrt{\alpha T}$ のオーダーであると記載されています。ここで $\alpha$ はグラフの独立数、$T$ は時間軸です。
ただし、これはラウンド数 $T$ が $\alpha^3$ より大きい場合にのみ証明され、大きなグラフでこの結果を使用するのに重大な制限が生じます。
この論文では、 \emph{問題の複雑さ} と呼ばれる新しい量 $R^*$ を定義し、任意のグラフと時間軸 $T$ に対して最小後悔が $R^*$ に比例することを証明します。
複雑な探索戦略を導入して、たとえ $T$ が $\alpha^3$ より小さい場合でも、ミニマックス最適リグレス限界を達成し、この設定に対して最初に最適であることが証明されたアルゴリズムとなる \mainAlgorithm アルゴリズムを定義します。

要約(オリジナル)

Sequential learning with feedback graphs is a natural extension of the multi-armed bandit problem where the problem is equipped with an underlying graph structure that provides additional information – playing an action reveals the losses of all the neighbors of the action. This problem was introduced by \citet{mannor2011} and received considerable attention in recent years. It is generally stated in the literature that the minimax regret rate for this problem is of order $\sqrt{\alpha T}$, where $\alpha$ is the independence number of the graph, and $T$ is the time horizon. However, this is proven only when the number of rounds $T$ is larger than $\alpha^3$, which poses a significant restriction for the usability of this result in large graphs. In this paper, we define a new quantity $R^*$, called the \emph{problem complexity}, and prove that the minimax regret is proportional to $R^*$ for any graph and time horizon $T$. Introducing an intricate exploration strategy, we define the \mainAlgorithm algorithm that achieves the minimax optimal regret bound and becomes the first provably optimal algorithm for this setting, even if $T$ is smaller than $\alpha^3$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google