End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes

要約

メタ ベイジアン最適化 (メタ BO) は、関連タスクからのデータを活用することでベイジアン最適化のサンプル効率を向上させることを目的としています。
以前の方法では、サロゲート モデルまたは取得関数のいずれかを個別にメタ学習することに成功しましたが、両方のコンポーネントの共同トレーニングには未解決の課題が残されています。
この論文では、変換器アーキテクチャを介して獲得関数を学習する神経プロセスを一般化する、最初のエンドツーエンド微分可能なメタ BO フレームワークを提案します。
強化学習 (RL) を使用したこのエンドツーエンドのフレームワークを有効にして、ラベル付き取得データの不足に対処します。
私たちは早い段階で、特に報酬がまばらな場合、監督が不十分であるため、RL を使用してトランスフォーマー ベースの神経プロセスをゼロからトレーニングするのが困難であることに気づきました。
我々は、報酬信号として広く使用されている後悔の概念が、軌跡の長さにおいて対数的スパースパターンを示すことを示す組み合わせ分析によってこの主張を形式化する。
この問題に取り組むために、帰納的バイアスとして有効な確率モデルを学習するようにアーキテクチャの一部をガイドする補助タスクで RL の目的を強化します。
私たちは、標準的なハイパーパラメータ最適化タスクの実験において、さまざまなベースラインに対して私たちの手法が最先端のリグレス結果を達成し、混合整数プログラミングの調整、抗体設計、電子工学の論理合成といった現実世界の問題でも他の手法よりも優れていることを実証します。
設計の自動化。

要約(オリジナル)

Meta-Bayesian optimisation (meta-BO) aims to improve the sample efficiency of Bayesian optimisation by leveraging data from related tasks. While previous methods successfully meta-learn either a surrogate model or an acquisition function independently, joint training of both components remains an open challenge. This paper proposes the first end-to-end differentiable meta-BO framework that generalises neural processes to learn acquisition functions via transformer architectures. We enable this end-to-end framework with reinforcement learning (RL) to tackle the lack of labelled acquisition data. Early on, we notice that training transformer-based neural processes from scratch with RL is challenging due to insufficient supervision, especially when rewards are sparse. We formalise this claim with a combinatorial analysis showing that the widely used notion of regret as a reward signal exhibits a logarithmic sparsity pattern in trajectory lengths. To tackle this problem, we augment the RL objective with an auxiliary task that guides part of the architecture to learn a valid probabilistic model as an inductive bias. We demonstrate that our method achieves state-of-the-art regret results against various baselines in experiments on standard hyperparameter optimisation tasks and also outperforms others in the real-world problems of mixed-integer programming tuning, antibody design, and logic synthesis for electronic design automation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google