List Online Classification

要約

学習者が複数のラベルのリストを使用して予測できるマルチクラスのオンライン予測を研究します (従来の設定ではラベルが 1 つだけであるのとは対照的です)。
$b$-ary Littlestone 次元を使用して、このモデルの学習可能性を特徴付けます。
この次元は、古典的なリトルストーン次元のバリエーションですが、バイナリ ミス ツリーが $(k+1)$-ary ミス ツリーに置き換えられるという違いがあります。ここで、$k$ はリスト内のラベルの数です。
不可知論的な設定では、コンパレータ クラスが単一ラベル関数または複数ラベル関数のどちらで構成されているか、およびアルゴリズムが使用するリストのサイズとのトレードオフに応じて、さまざまなシナリオを検討します。
場合によっては否定的な後悔を達成することが可能であることを発見し、これが可能な場合の完全な特徴を提供します.
作業の一環として、Littlestone の SOA や Rosenblatt の Perceptron などの古典的なアルゴリズムを適応させて、ラベルのリストを使用して予測します。
また、Sauer-Shelah-Perles Lemma のリスト オンライン バージョンを含む、リスト学習可能なクラスの組み合わせ結果も確立します。
パターン クラスのフレームワーク内で結果を述べます。これは、適応仮説 (つまり、メモリを使用する関数) を表すことができる仮説クラスの一般化であり、マージンを使用した線形分類などのデータ依存の仮定をモデル化します。

要約(オリジナル)

We study multiclass online prediction where the learner can predict using a list of multiple labels (as opposed to just one label in the traditional setting). We characterize learnability in this model using the $b$-ary Littlestone dimension. This dimension is a variation of the classical Littlestone dimension with the difference that binary mistake trees are replaced with $(k+1)$-ary mistake trees, where $k$ is the number of labels in the list. In the agnostic setting, we explore different scenarios depending on whether the comparator class consists of single-labeled or multi-labeled functions and its tradeoff with the size of the lists the algorithm uses. We find that it is possible to achieve negative regret in some cases and provide a complete characterization of when this is possible. As part of our work, we adapt classical algorithms such as Littlestone’s SOA and Rosenblatt’s Perceptron to predict using lists of labels. We also establish combinatorial results for list-learnable classes, including an list online version of the Sauer-Shelah-Perles Lemma. We state our results within the framework of pattern classes — a generalization of hypothesis classes which can represent adaptive hypotheses (i.e. functions with memory), and model data-dependent assumptions such as linear classification with margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google