Multiclass Online Learning and Uniform Convergence

要約

私たちは、敵対的ではないオンライン学習設定におけるマルチクラス分類を研究します。
私たちの主な結果として、リトルストーン次元が有限である場合に限り、マルチクラス概念クラスは不可知論的に学習可能であることが証明されました。
これは、クラス (またはラベル) の数が制限されている場合を扱った Daniely、Sabato、Ben-David、および Shalev-Shwartz (2011、2015) によって研究された未解決の問題を解決します。
また、逐次 Rademacher の複雑さが制限されていない学習しやすいクラスを示すことにより、オンラインの学習可能性とオンラインの均一収束との分離を証明します。
私たちの学習アルゴリズムは、リトルストーン次元のサイズの部分列に対する標準最適アルゴリズムの実行によって定義された一連の専門家による乗算重みアルゴリズムを使用します。
私たちは、最も優れた専門家は、そのクラスで最も優れた概念に対して、せいぜいリトルストーンの次元で後悔するだけであると主張します。
これは、最良の専門家が後悔をゼロにする、Ben-David、P\'{a}l、および Shalev-Shwartz (2009) のバイナリ分類に関するよく知られたカバーリング手法とは異なります。

要約(オリジナル)

We study multiclass classification in the agnostic adversarial online learning setting. As our main result, we prove that any multiclass concept class is agnostically learnable if and only if its Littlestone dimension is finite. This solves an open problem studied by Daniely, Sabato, Ben-David, and Shalev-Shwartz (2011,2015) who handled the case when the number of classes (or labels) is bounded. We also prove a separation between online learnability and online uniform convergence by exhibiting an easy-to-learn class whose sequential Rademacher complexity is unbounded. Our learning algorithm uses the multiplicative weights algorithm, with a set of experts defined by executions of the Standard Optimal Algorithm on subsequences of size Littlestone dimension. We argue that the best expert has regret at most Littlestone dimension relative to the best concept in the class. This differs from the well-known covering technique of Ben-David, P\'{a}l, and Shalev-Shwartz (2009) for binary classification, where the best expert has regret zero.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google