Small Loss Bounds for Online Learning Separated Function Classes: A Gaussian Process Perspective

要約

過度に悲観的な計算下限を回避しながら実用的で効率的なアルゴリズムを開発するために、最近の研究は、さまざまな学習設定でオラクル効率の高いアルゴリズムを開発することに関心があります。
このような関心のある2つの設定は、オンラインと差別的にプライベートな学習です。
一見異なるように見えますが、これらの2つのフィールドは、それぞれのケースで成功したアルゴリズムが安定性保証を満たすという要件によって根本的に接続されています。
特に、最近の研究は、いわゆる小さな損失の境界を達成する有益な問題インスタンスにパフォーマンスが適応するオンライン学習のアルゴリズムには、プライバシーの差と同様の安定性の形を必要とすることが実証されています。
この作業では、Oracle効率の高いアルゴリズムがこの強力な安定性を実現できるようにする上で分離が果たす重要な役割を特定します。
$ \ rho $分離と呼ぶ我々の概念は、小セパレーターセットの存在や$ \ gamma $ apploxixabilityの最近の概念など、この強力な安定性を実施するためのいくつかの以前のアプローチを一般化および統合します。
私たちは、以前の仕事よりも高い一般性の改善されたレートで小さな損失の境界を達成できるOracle効率の高いアルゴリズムと、私たちの分離条件下で再び最適なレートを達成する差別的にプライベートな学習のバリアントを提示します。
そうすることで、以前の作業を強化および一般化するガウスプロセスのミニマイズの新しい安定性結果を証明します。

要約(オリジナル)

In order to develop practical and efficient algorithms while circumventing overly pessimistic computational lower bounds, recent work has been interested in developing oracle-efficient algorithms in a variety of learning settings. Two such settings of particular interest are online and differentially private learning. While seemingly different, these two fields are fundamentally connected by the requirement that successful algorithms in each case satisfy stability guarantees; in particular, recent work has demonstrated that algorithms for online learning whose performance adapts to beneficial problem instances, attaining the so-called small-loss bounds, require a form of stability similar to that of differential privacy. In this work, we identify the crucial role that separation plays in allowing oracle-efficient algorithms to achieve this strong stability. Our notion, which we term $\rho$-separation, generalizes and unifies several previous approaches to enforcing this strong stability, including the existence of small-separator sets and the recent notion of $\gamma$-approximability. We present an oracle-efficient algorithm that is capable of achieving small-loss bounds with improved rates in greater generality than previous work, as well as a variant for differentially private learning that attains optimal rates, again under our separation condition. In so doing, we prove a new stability result for minimizers of a Gaussian process that strengthens and generalizes previous work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google