RTDK-BO: High Dimensional Bayesian Optimization with Reinforced Transformer Deep kernels

要約

ガウス プロセス (GP) サロゲートによって導かれるベイジアン最適化 (BO) は、工業デザインや科学技術コンピューティングなどの多くのアプリケーションに固有の重要な問題である、効率的で高次元のブラック ボックス最適化のための非常に貴重な手法であることが証明されています。
最近の貢献では、単一関数の最適化と \textit{few-shot} 多目的最適化の両方で最適化パフォーマンスを向上させる強化学習 (RL) が導入されました。
ただし、数ショットのテクニックであっても、密接に関連する目的間に共有される類似点を利用することはできません。
この論文では、ディープ カーネル ラーニング (DKL) とアテンションベースの Transformer モデルの最近の開発を組み合わせて、メタ学習による GP サロゲートのモデリング能力を向上させます。
私たちは、DKL にアテンション メカニズムを組み込むことでメタ学習 BO サロゲートを改善し、BO プロセス中に収集されたコンテキスト情報にサロゲートが適応できるようにする新しい方法を提案します。
私たちは、この Transformer Deep Kernel を、継続的なソフト アクター – クリティカル強化学習で訓練された学習済み獲得関数と組み合わせて、探索を支援します。
この Reinforced Transformer Deep Kernel (RTDK-BO) アプローチは、継続的な高次元の最適化問題で最先端の結果をもたらします。

要約(オリジナル)

Bayesian Optimization (BO), guided by Gaussian process (GP) surrogates, has proven to be an invaluable technique for efficient, high-dimensional, black-box optimization, a critical problem inherent to many applications such as industrial design and scientific computing. Recent contributions have introduced reinforcement learning (RL) to improve the optimization performance on both single function optimization and \textit{few-shot} multi-objective optimization. However, even few-shot techniques fail to exploit similarities shared between closely related objectives. In this paper, we combine recent developments in Deep Kernel Learning (DKL) and attention-based Transformer models to improve the modeling powers of GP surrogates with meta-learning. We propose a novel method for improving meta-learning BO surrogates by incorporating attention mechanisms into DKL, empowering the surrogates to adapt to contextual information gathered during the BO process. We combine this Transformer Deep Kernel with a learned acquisition function trained with continuous Soft Actor-Critic Reinforcement Learning to aid in exploration. This Reinforced Transformer Deep Kernel (RTDK-BO) approach yields state-of-the-art results in continuous high-dimensional optimization problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google