Rate-Preserving Reductions for Blackwell Approachability

要約

アバネシーら。
(2011) は、特定のブラックウェル アクセシビリティ インスタンスを解決するアルゴリズムは、特定のノーリグレット学習インスタンスのサブリニア リグレット アルゴリズムに変換でき、またその逆も可能であるという意味で、ブラックウェル アクセシビリティとノー リグレット学習は同等であることを示しました。
この論文では、そのような削減のよりきめの細かい形式を研究し、問題間のこの変換が線形未満の収束率を維持するだけでなく、最適な収束率も維持するのはいつなのかを調べます。
つまり、対応するアプローチ可能性インスタンスの最適な収束率を見つけるために、リグレットのない学習インスタンスの最適なリグレット限界を見つけるだけで十分なのはどのような場合ですか?
我々は、Abernethy et al.の減少が起こることを示します。
(2011) はレートを保存しません。その削減により、最適な収束率 $R_1$ を持つ $d$ 次元の接近可能性インスタンス $I_1$ が、最適なラウンドあたりのリグレット率 $R_2 を持つリグレットなしの学習インスタンス $I_2$ に減少する可能性があります。
$、$R_{2}/R_{1}$ は任意の大きさです (特に、$R_1 = 0$ および $R_{2} > 0$ である可能性があります)。
一方で、我々は、あらゆる近づきやすさのインスタンスを、不適切な $\phi$-regret 最小化 ($\phi$-regret 最小化の変形) と呼ぶ一般化された形式のリグレット最小化のインスタンスに厳密に還元することが可能であることを示します。
Gordon et al. (2008) では、変換関数がアクション セットの外にアクションをマッピングする可能性があります。
最後に、線形変換が、レートを維持しながら不適切な $\phi$-regret 最小化問題を標準クラスのリグレット最小化問題に減らすのに十分な場合を特徴付けます。
一部の不適切な $\phi$-regret 最小化インスタンスは、この方法ではインスタンスのどちらのサブクラスにも還元できないことを証明し、オンライン学習の言語では表現できないいくつかの問題を親しみやすさによって捉えることができることを示唆しています。

要約(オリジナル)

Abernethy et al. (2011) showed that Blackwell approachability and no-regret learning are equivalent, in the sense that any algorithm that solves a specific Blackwell approachability instance can be converted to a sublinear regret algorithm for a specific no-regret learning instance, and vice versa. In this paper, we study a more fine-grained form of such reductions, and ask when this translation between problems preserves not only a sublinear rate of convergence, but also preserves the optimal rate of convergence. That is, in which cases does it suffice to find the optimal regret bound for a no-regret learning instance in order to find the optimal rate of convergence for a corresponding approachability instance? We show that the reduction of Abernethy et al. (2011) does not preserve rates: their reduction may reduce a $d$-dimensional approachability instance $I_1$ with optimal convergence rate $R_1$ to a no-regret learning instance $I_2$ with optimal regret-per-round of $R_2$, with $R_{2}/R_{1}$ arbitrarily large (in particular, it is possible that $R_1 = 0$ and $R_{2} > 0$). On the other hand, we show that it is possible to tightly reduce any approachability instance to an instance of a generalized form of regret minimization we call improper $\phi$-regret minimization (a variant of the $\phi$-regret minimization of Gordon et al. (2008) where the transformation functions may map actions outside of the action set). Finally, we characterize when linear transformations suffice to reduce improper $\phi$-regret minimization problems to standard classes of regret minimization problems in a rate preserving manner. We prove that some improper $\phi$-regret minimization instances cannot be reduced to either subclass of instance in this way, suggesting that approachability can capture some problems that cannot be phrased in the language of online learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google