A survey of Monte Carlo methods for noisy and costly densities with application to reinforcement learning and ABC

要約

この調査では、扱いが難しく、コストがかかり、ノイズが多い密度に対処するための、サロゲート モデルを使用したモンテカルロ手法の概要を示します。
このタイプの問題は、確率的最適化や強化学習など、現実世界の多くのシナリオで見られます。密度関数の評価ごとに、計算コストや物理的 (現実世界の活動) コストがかかる可能性があり、異なる結果が生じる可能性があります。
毎回。
サロゲート モデルではこのコストは発生しませんが、そのような方法論の選択と設計には重要なトレードオフと考慮事項が含まれます。
さまざまな方法論を 3 つの主要なクラスに分類し、統一された表記法でアルゴリズムの特定のインスタンスを説明します。
検討された方法を包含するモジュール方式も提示されます。
無尤度設定と強化学習に特に注意を払いながら、さまざまなアプリケーション シナリオについて説明します。
いくつかの数値比較も提供されます。

要約(オリジナル)

This survey gives an overview of Monte Carlo methodologies using surrogate models, for dealing with densities which are intractable, costly, and/or noisy. This type of problem can be found in numerous real-world scenarios, including stochastic optimization and reinforcement learning, where each evaluation of a density function may incur some computationally-expensive or even physical (real-world activity) cost, likely to give different results each time. The surrogate model does not incur this cost, but there are important trade-offs and considerations involved in the choice and design of such methodologies. We classify the different methodologies into three main classes and describe specific instances of algorithms under a unified notation. A modular scheme which encompasses the considered methods is also presented. A range of application scenarios is discussed, with special attention to the likelihood-free setting and reinforcement learning. Several numerical comparisons are also provided.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google