List Online Classification

要約

タイトル：リスト・オンライン分類
要約：
– 1つのラベルではなく、複数のラベルのリストを使用して予測する多クラスオンライン予測について研究している。
– $b$-ary Littlestone次元を使ってこのモデルの学習可能性を特徴づけている。この次元は、古典的なLittlestone次元の変形であり、2進の間違いツリーではなく、(k+1)-進の間違いツリーを使う。ここで、kはリスト内のラベルの数である。
– 霊感的な設定では、比較器クラスが単一のラベルであるか、複数のラベルであるかによって、アルゴリズムが使用するリストのサイズとのトレードオフに依存する異なるシナリオを探索する。
– いくつかの場合で負の後悔を達成できることが分かり、これが可能な場合の完全な特性を提供している。
– 我々の仕事の一環として、LittlestoneのSOAやRosenblattのPerceptronなどの古典的なアルゴリズムをラベルのリストを予測するために適応させている。
– 我々は、アダプティブ仮説(つまり、メモリを持つ関数)や線形分類とマージンのようなデータ依存的な仮定を表現できる仮説クラスの一般化であるパターンクラスの枠組み内で結果を述べている。

要約(オリジナル)

We study multiclass online prediction where the learner can predict using a list of multiple labels (as opposed to just one label in the traditional setting). We characterize learnability in this model using the $b$-ary Littlestone dimension. This dimension is a variation of the classical Littlestone dimension with the difference that binary mistake trees are replaced with $(k+1)$-ary mistake trees, where $k$ is the number of labels in the list. In the agnostic setting, we explore different scenarios depending on whether the comparator class consists of single-labeled or multi-labeled functions and its tradeoff with the size of the lists the algorithm uses. We find that it is possible to achieve negative regret in some cases and provide a complete characterization of when this is possible. As part of our work, we adapt classical algorithms such as Littlestone’s SOA and Rosenblatt’s Perceptron to predict using lists of labels. We also establish combinatorial results for list-learnable classes, including an list online version of the Sauer-Shelah-Perles Lemma. We state our results within the framework of pattern classes — a generalization of hypothesis classes which can represent adaptive hypotheses (i.e. functions with memory), and model data-dependent assumptions such as linear classification with margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI