Active Learning for Level Set Estimation Using Randomized Straddle Algorithms

要約

レベル セット推定 (LSE) は、関数が指定されたしきい値を超える (または下回る) 値をとる入力点のセットを特定する問題であり、実際のアプリケーションでは重要です。
関数が評価コストが高くブラックボックスである場合、ガウス過程モデルに基づく LSE の代表的なヒューリスティックである \textit{straddle} アルゴリズムと理論的保証を備えたその拡張機能が開発されています。
ただし、既存のメソッドの多くには、ユーザーが指定する必要がある信頼パラメータ $\beta^{1/2}_t$ が含まれており、$\beta^{1/2}_t$ をヒューリスティックに選択するメソッドは理論的な保証を提供しません
。
対照的に、$\beta^{1/2}_t$ の理論的に保証されている値は、反復回数や候補点に応じて増加する必要があり、保守的であり、実用的なパフォーマンスには適していません。
この研究では、新しい方法である \textit{ランダム化ストラドル} アルゴリズムを提案します。このアルゴリズムでは、ストラドル アルゴリズムの $\beta_t$ が、2 自由度のカイ二乗分布からのランダム サンプルに置き換えられます。
提案手法の信頼度パラメータは調整が不要であること，反復回数や候補点に依存しないこと，保守的ではないことなどの利点がある。
さらに、提案された方法にはサンプルの複雑さと反復回数に依存する理論的な保証があることを示します。
最後に、合成データと実データを用いた数値実験により、提案手法の有用性を確認します。

要約(オリジナル)

Level set estimation (LSE), the problem of identifying the set of input points where a function takes value above (or below) a given threshold, is important in practical applications. When the function is expensive-to-evaluate and black-box, the \textit{straddle} algorithm, which is a representative heuristic for LSE based on Gaussian process models, and its extensions having theoretical guarantees have been developed. However, many of existing methods include a confidence parameter $\beta^{1/2}_t$ that must be specified by the user, and methods that choose $\beta^{1/2}_t$ heuristically do not provide theoretical guarantees. In contrast, theoretically guaranteed values of $\beta^{1/2}_t$ need to be increased depending on the number of iterations and candidate points, and are conservative and not good for practical performance. In this study, we propose a novel method, the \textit{randomized straddle} algorithm, in which $\beta_t$ in the straddle algorithm is replaced by a random sample from the chi-squared distribution with two degrees of freedom. The confidence parameter in the proposed method has the advantages of not needing adjustment, not depending on the number of iterations and candidate points, and not being conservative. Furthermore, we show that the proposed method has theoretical guarantees that depend on the sample complexity and the number of iterations. Finally, we confirm the usefulness of the proposed method through numerical experiments using synthetic and real data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google