Generalization bounds for mixing processes via delayed online-to-PAC conversions

要約

非I.I.Dで統計学習アルゴリズムの一般化誤差を研究します。
設定、トレーニングデータが固定混合プロセスからサンプリングされます。
遅延フィードバックを伴うオンライン学習の削減に基づいて、このシナリオの分析フレームワークを開発します。
特に、後悔のあるオンライン学習アルゴリズムの存在（遅延フィードバックを伴うオンライン学習の特別に構築されたゲームにおける固定統計学習アルゴリズムに対して）を意味することを示しています）は、データシーケンスがあっても、上記の統計学習方法の低い一般化エラーを意味することを示しています。
混合時系列からサンプリング。
レートは、オンライン学習ゲームの遅延量と連続したデータポイント間の依存度との間のトレードオフを示しています。
プロセスの混合時間の。

要約(オリジナル)

We study the generalization error of statistical learning algorithms in a non-i.i.d. setting, where the training data is sampled from a stationary mixing process. We develop an analytic framework for this scenario based on a reduction to online learning with delayed feedback. In particular, we show that the existence of an online learning algorithm with bounded regret (against a fixed statistical learning algorithm in a specially constructed game of online learning with delayed feedback) implies low generalization error of said statistical learning method even if the data sequence is sampled from a mixing time series. The rates demonstrate a trade-off between the amount of delay in the online learning game and the degree of dependence between consecutive data points, with near-optimal rates recovered in a number of well-studied settings when the delay is tuned appropriately as a function of the mixing time of the process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google