Hoeffding’s Inequality for Markov Chains under Generalized Concentrability Condition

要約

この論文では、積分確率計量 (IPM) によって定義された一般化された集中性条件の下で、マルコフ連鎖に対する Hoeffding の不等式を研究します。
一般化された集中性条件は、マルコフ連鎖ヘフディング型不等式の既存の仮説を補間および拡張するフレームワークを確立します。
私たちのフレームワークの柔軟性により、ヘフディングの不等式を伝統的な意味でのエルゴード的マルコフ連鎖を超えて適用することができます。
我々は、フレームワークを機械学習の分野から生じるいくつかの非漸近分析に適用することにより、その有用性を実証します。これには、(i) マルコフサンプルによる経験的リスク最小化に限定された一般化、(ii) Ployak-Ruppert 平均化の有限サンプル保証が含まれます。
SGD、および(iii) 一般的な国家空間で休息したマルコフ山賊に向けられた新たな後悔。

要約(オリジナル)

This paper studies Hoeffding’s inequality for Markov chains under the generalized concentrability condition defined via integral probability metric (IPM). The generalized concentrability condition establishes a framework that interpolates and extends the existing hypotheses of Markov chain Hoeffding-type inequalities. The flexibility of our framework allows Hoeffding’s inequality to be applied beyond the ergodic Markov chains in the traditional sense. We demonstrate the utility by applying our framework to several non-asymptotic analyses arising from the field of machine learning, including (i) a generalization bound for empirical risk minimization with Markovian samples, (ii) a finite sample guarantee for Ployak-Ruppert averaging of SGD, and (iii) a new regret bound for rested Markovian bandits with general state space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google