Online Learning and Solving Infinite Games with an ERM Oracle

要約

ERM は確率的学習設定では最適に近い汎化誤差を達成するのに十分ですが、オンライン学習設定ではそうではないことが知られており、一般概念クラスのアルゴリズムは標準最適アルゴリズム (SOA) などの計算効率の悪いオラクルに依存しています。
。
この研究では、ERM オラクル コールのみに依存するオンライン バイナリ分類設定のアルゴリズムを提案し、実現可能な設定では有限のリグレスがあり、不可知論的な設定では潜在的に増加するリグレスがあることを示します。
私たちは、根底にある概念クラスのリトルストーン次元と閾値次元の観点から後悔を結び付けました。
ノンパラメトリック ゲームでも同様の結果が得られます。この場合、ERM オラクルは、他のプレイヤーの所定のプレイ履歴に対するプレイヤーの最良の応答を見つける最良の応答オラクルとして解釈できます。
この設定では、ゲームが次の条件を満たす限り、最良の応答オラクルのみに依存し、2 プレイヤーのゼロサム ゲームでは近似ミニマックス均衡に収束し、マルチプレイヤーの総和ゲームでは近似の粗相関平衡に収束する学習アルゴリズムを提供します。
境界のある脂肪閾値次元。
私たちのアルゴリズムはバイナリ値ゲームと実数値ゲームの両方に適用され、大規模なゲームを解く実践においてダブルオラクルアルゴリズムとマルチオラクルアルゴリズムを広く使用する正当化を提供すると見なすことができます。

要約(オリジナル)

While ERM suffices to attain near-optimal generalization error in the stochastic learning setting, this is not known to be the case in the online learning setting, where algorithms for general concept classes rely on computationally inefficient oracles such as the Standard Optimal Algorithm (SOA). In this work, we propose an algorithm for online binary classification setting that relies solely on ERM oracle calls, and show that it has finite regret in the realizable setting and sublinearly growing regret in the agnostic setting. We bound the regret in terms of the Littlestone and threshold dimensions of the underlying concept class. We obtain similar results for nonparametric games, where the ERM oracle can be interpreted as a best response oracle, finding the best response of a player to a given history of play of the other players. In this setting, we provide learning algorithms that only rely on best response oracles and converge to approximate-minimax equilibria in two-player zero-sum games and approximate coarse correlated equilibria in multi-player general-sum games, as long as the game has a bounded fat-threshold dimension. Our algorithms apply to both binary-valued and real-valued games and can be viewed as providing justification for the wide use of double oracle and multiple oracle algorithms in the practice of solving large games.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google