Learnability in Online Kernel Selection with Memory Constraint via Data-dependent Regret Analysis

要約

オンラインカーネル選択は、オンラインカーネルメソッドの基本的な問題です。このペーパーでは、カーネルの選択とオンライン予測手順のメモリが固定予算に限定されるメモリの制約を備えたオンラインカーネル選択を研究します。
本質的な疑問は、オンラインの学習性、メモリの制約、およびデータの複雑さの間の本質的な関係は何ですか？
質問に答えるには、後悔とメモリの制約の間のトレードオフを示す必要があります。データサイズに応じて最悪の範囲の下限を与え、小さなメモリの制約内で学習が不可能であることを示します。
2種類の損失関数の境界。ヒンジ損失関数では、アルゴリズムはカーネルのアライメントに応じて予想される上限を達成します。スムーズな損失関数の場合、アルゴリズムは競争力のある仮説の累積損失を達成します。
小さなメモリの制約。私のアルゴリズムフレームワークは、新しいバッファーの維持フレームワークと、専門家のアドバイスを受けてオンラインカーネル選択から予測までの削減に依存します。
最後に、ベンチマークデータセット上のアルゴリズムの予測パフォーマンスを経験的に検証します。

要約(オリジナル)

Online kernel selection is a fundamental problem of online kernel methods.In this paper,we study online kernel selection with memory constraint in which the memory of kernel selection and online prediction procedures is limited to a fixed budget. An essential question is what is the intrinsic relationship among online learnability, memory constraint, and data complexity? To answer the question,it is necessary to show the trade-offs between regret and memory constraint.Previous work gives a worst-case lower bound depending on the data size,and shows learning is impossible within a small memory constraint.In contrast, we present distinct results by offering data-dependent upper bounds that rely on two data complexities:kernel alignment and the cumulative losses of competitive hypothesis.We propose an algorithmic framework giving data-dependent upper bounds for two types of loss functions.For the hinge loss function,our algorithm achieves an expected upper bound depending on kernel alignment.For smooth loss functions,our algorithm achieves a high-probability upper bound depending on the cumulative losses of competitive hypothesis.We also prove a matching lower bound for smooth loss functions.Our results show that if the two data complexities are sub-linear,then learning is possible within a small memory constraint.Our algorithmic framework depends on a new buffer maintaining framework and a reduction from online kernel selection to prediction with expert advice. Finally,we empirically verify the prediction performance of our algorithms on benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google