Online-to-PAC generalization bounds under graph-mixing dependencies

要約

統計学習における従来の一般化の結果には、個別に抽出されたサンプルから作成されたトレーニング データ セットが必要です。
この独立性の仮定を緩和するための最近の取り組みのほとんどは、純粋に時間的な (混合) 依存関係、または隣接しない頂点が独立した確率変数に対応するグラフ依存関係を考慮しています。
どちらのアプローチにも独自の制限があり、前者には時間的な順序構造が必要ですが、後者には相互依存関係の強さを定量化する方法がありません。
この研究では、グラフの距離に応じて依存関係が減衰するフレームワークを提案することで、これら 2 つの作業ラインを橋渡しします。
集中結果を導き出し、グラフ構造を組み込んだオンライン学習フレームワークを導入することにより、オンラインから PAC へのフレームワークを活用して汎化限界を導き出します。
結果として得られる高確率の一般化保証は、混合率とグラフの彩色数の両方に依存します。

要約(オリジナル)

Traditional generalization results in statistical learning require a training data set made of independently drawn examples. Most of the recent efforts to relax this independence assumption have considered either purely temporal (mixing) dependencies, or graph-dependencies, where non-adjacent vertices correspond to independent random variables. Both approaches have their own limitations, the former requiring a temporal ordered structure, and the latter lacking a way to quantify the strength of inter-dependencies. In this work, we bridge these two lines of work by proposing a framework where dependencies decay with graph distance. We derive generalization bounds leveraging the online-to-PAC framework, by deriving a concentration result and introducing an online learning framework incorporating the graph structure. The resulting high-probability generalization guarantees depend on both the mixing rate and the graph’s chromatic number.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google