Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search

要約

物流からエンジニアリングに至るまでの多くのアプリケーションで、設計者は、その目標が評価コストのかかるブラックボックス関数の形式になっている一連の最適化タスクに直面しています。
たとえば、設計者は、時間の経過とともにさまざまな学習タスクに合わせてニューラル ネットワーク モデルのハイパーパラメータを調整する必要がある場合があります。
設計者は、各候補解の目的関数を評価するのではなく、目的関数の近似値にアクセスできる場合がありますが、より忠実度の高い評価にはより大きなコストがかかります。
既存のマルチ忠実度ブラックボックス最適化戦略は、現在のタスクの最適な値またはソリューションについて得られる情報を最大化することを目的として、候補ソリューションと忠実度レベルを選択します。
連続する最適化タスクが関連していると仮定して、この論文では、現在のタスクに関する情報を取得する必要性と、将来のタスクに転送可能な情報を収集するという目的のバランスをとる、新しい情報理論的取得関数を紹介します。
提案された方法には、粒子ベースの変分ベイジアン更新を実装することによってタスク間で転送される共有タスク間潜在変数が含まれています。
合成例と現実世界の例にわたる実験結果から、将来のタスクに対応する提案されたプロビデント取得戦略により、十分な数のタスクが処理されるとすぐに最適化効率を大幅に向上できることが明らかになりました。

要約(オリジナル)

In many applications, ranging from logistics to engineering, a designer is faced with a sequence of optimization tasks for which the objectives are in the form of black-box functions that are costly to evaluate. For example, the designer may need to tune the hyperparameters of neural network models for different learning tasks over time. Rather than evaluating the objective function for each candidate solution, the designer may have access to approximations of the objective functions, for which higher-fidelity evaluations entail a larger cost. Existing multi-fidelity black-box optimization strategies select candidate solutions and fidelity levels with the goal of maximizing the information accrued about the optimal value or solution for the current task. Assuming that successive optimization tasks are related, this paper introduces a novel information-theoretic acquisition function that balances the need to acquire information about the current task with the goal of collecting information transferable to future tasks. The proposed method includes shared inter-task latent variables, which are transferred across tasks by implementing particle-based variational Bayesian updates. Experimental results across synthetic and real-world examples reveal that the proposed provident acquisition strategy that caters to future tasks can significantly improve the optimization efficiency as soon as a sufficient number of tasks is processed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google