Concentration Inequalities for the Stochastic Optimization of Unbounded Objectives with Application to Denoising Score Matching

要約

確率的最適化問題の大規模なクラスの統計的誤差を結びつける新しい濃度の不平等を導き出し、結合されていない目的関数の場合に焦点を当てます。
私たちの派生物は、次のツールを利用します。1）サンプルに依存する1つの成分の差境界に基づいたMcDiarmidの不平等の新しい形式は、結合されていない機能の大量の結果をもたらす新しい統一法則につながります。
2）適切なローカルリプシッツプロパティを満たす機能のファミリーに拘束されたラデマッハーの複雑さ。
これらの結果の適用として、データ分布がサポートを制限している場合でも、固定されていない目的関数を検討する必要があるアプリケーションであるアプリケーションであるアプリケーションは、統計スコアマッチング（DSM）を導き出します。
さらに、我々の結果は、補助ガウスランダム変数を使用するDSMのように、トレーニングデータに加えて、簡単にサンプリングされた補助ランダム変数を使用するアルゴリズムでサンプル再利用の利点を確立します。

要約(オリジナル)

We derive novel concentration inequalities that bound the statistical error for a large class of stochastic optimization problems, focusing on the case of unbounded objective functions. Our derivations utilize the following tools: 1) A new form of McDiarmid’s inequality that is based on sample dependent one component difference bounds and which leads to a novel uniform law of large numbers result for unbounded functions. 2) A Rademacher complexity bound for families of functions that satisfy an appropriate local Lipschitz property. As an application of these results, we derive statistical error bounds for denoising score matching (DSM), an application that inherently requires one to consider unbounded objective functions, even when the data distribution has bounded support. In addition, our results establish the benefit of sample reuse in algorithms that employ easily sampled auxiliary random variables in addition to the training data, e.g., as in DSM, which uses auxiliary Gaussian random variables.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google