Sparse Bayesian Optimization

要約

ベイズ最適化（BO）は、ブラックボックス化した目的関数をサンプル効率よく最適化するための強力なアプローチである。しかし、推薦システムのような分野へのBOの適用は、しばしば構成の解釈可能性と単純性を考慮する必要があり、BOの文献ではこれまで研究されてこなかった設定である。このような設定にBOを役立てるために、我々は、スパースでより解釈しやすい構成を発見することを可能にする、いくつかの正則化に基づくアプローチを提示する。ホモトピー継続に基づく新しい微分緩和を提案し、$L_0$正則化に直接取り組むことでスパース性を狙えるようにする。正則化BOの失敗モードを特定し、目標目標とスパース性を同時に最大化することを目指すハイパーパラメータ不要の方法、スパース性探索ベイズ最適化（SEBO）を開発する。SEBOと固定正則化に基づく方法を合成問題や実問題で評価し、スパース性を効率よく最適化できることを示す。

要約(オリジナル)

Bayesian optimization (BO) is a powerful approach to sample-efficient optimization of black-box objective functions. However, the application of BO to areas such as recommendation systems often requires taking the interpretability and simplicity of the configurations into consideration, a setting that has not been previously studied in the BO literature. To make BO useful for this setting, we present several regularization-based approaches that allow us to discover sparse and more interpretable configurations. We propose a novel differentiable relaxation based on homotopy continuation that makes it possible to target sparsity by working directly with $L_0$ regularization. We identify failure modes for regularized BO and develop a hyperparameter-free method, sparsity exploring Bayesian optimization (SEBO) that seeks to simultaneously maximize a target objective and sparsity. SEBO and methods based on fixed regularization are evaluated on synthetic and real-world problems, and we show that we are able to efficiently optimize for sparsity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL