PINN-BO: A Black-box Optimization Algorithm using Physics-Informed Neural Networks

要約

ブラックボックス最適化は、ノイズが多く高価なブラックボックス関数の大域的最適値を発見するための強力なアプローチであり、実世界のシナリオで広く遭遇する問題である。近年、機械学習手法の有効性を高めるために、領域知識を活用することへの関心が高まっている。偏微分方程式(PDE)は、ブラックボックス関数を支配する基本原理を解明するための有効な手段となることが多い。本論文では、最適化のサンプル効率を改善するために偏微分方程式(PDE)からの知識を統合する物理学情報ニューラルネットワークを採用したブラックボックス最適化アルゴリズムであるPINN-BOを提案する。我々は、NTK理論の進歩を利用して、後悔限界の観点から我々のアルゴリズムの理論的挙動を分析し、ブラックボックス関数評価と並行してPDEを使用することで、PINN-BOがより厳しい後悔限界をもたらすことを証明する。様々な最適化課題に対して幾つかの実験を行い、我々のアルゴリズムが既存の手法に比べてサンプル効率が良いことを示す。

要約(オリジナル)

Black-box optimization is a powerful approach for discovering global optima in noisy and expensive black-box functions, a problem widely encountered in real-world scenarios. Recently, there has been a growing interest in leveraging domain knowledge to enhance the efficacy of machine learning methods. Partial Differential Equations (PDEs) often provide an effective means for elucidating the fundamental principles governing the black-box functions. In this paper, we propose PINN-BO, a black-box optimization algorithm employing Physics-Informed Neural Networks that integrates the knowledge from Partial Differential Equations (PDEs) to improve the sample efficiency of the optimization. We analyze the theoretical behavior of our algorithm in terms of regret bound using advances in NTK theory and prove that the use of the PDE alongside the black-box function evaluations, PINN-BO leads to a tighter regret bound. We perform several experiments on a variety of optimization tasks and show that our algorithm is more sample-efficient compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL