High Confidence Level Inference is Almost Free using Parallel Stochastic Optimization

要約

オンライン設定での確率的最適化ソリューションによる推定の不確実性の定量化は、最近人気が高まっています。
この論文では、効率的な計算と名目レベルへの高速収束による信頼区間の構築に焦点を当てた新しい推論方法を紹介します。
具体的には、少数の独立したマルチランを使用して分布情報を取得し、t ベースの信頼区間を構築することを提案します。
私たちの方法では、標準的な推定値の更新に必要な追加の計算とメモリが最小限で済むため、推論プロセスにほとんどコストがかかりません。
信頼区間に対して厳密な理論的保証を提供し、カバレッジが明示的な収束率でほぼ正確であることを実証し、高い信頼レベルの推論を可能にします。
特に、相対誤差の観点から信頼区間のカバレッジ特性を特徴付けるために、オンライン推定器用に新しいガウス近似結果が開発されました。
さらに、私たちの方法では、並列コンピューティングを利用して、複数のコアを使用して計算をさらに高速化することもできます。
実装が簡単で、複雑な変更を必要とせずに既存の確率的アルゴリズムと統合できます。

要約(オリジナル)

Uncertainty quantification for estimation through stochastic optimization solutions in an online setting has gained popularity recently. This paper introduces a novel inference method focused on constructing confidence intervals with efficient computation and fast convergence to the nominal level. Specifically, we propose to use a small number of independent multi-runs to acquire distribution information and construct a t-based confidence interval. Our method requires minimal additional computation and memory beyond the standard updating of estimates, making the inference process almost cost-free. We provide a rigorous theoretical guarantee for the confidence interval, demonstrating that the coverage is approximately exact with an explicit convergence rate and allowing for high confidence level inference. In particular, a new Gaussian approximation result is developed for the online estimators to characterize the coverage properties of our confidence intervals in terms of relative errors. Additionally, our method also allows for leveraging parallel computing to further accelerate calculations using multiple cores. It is easy to implement and can be integrated with existing stochastic algorithms without the need for complicated modifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google