Hessian-Aware Bayesian Optimization for Decision Making Systems

要約

意思決定システムを最適化するための多くのアプローチは、環境からの有益なフィードバックを必要とする勾配ベースの手法に依存している。しかし、そのようなフィードバックがまばらであったり、情報が少なかったりする場合、そのようなアプローチはパフォーマンスが低下する可能性がある。ベイズ最適化のような無誘導体アプローチは、勾配フィードバックの質への依存を軽減するが、複雑な意思決定システムの高次元設定ではスケールが小さいことが知られている。この問題は、システムが、共有された目標を達成するために協力する複数のアクター間の相互作用を必要とする場合に悪化する。この次元の問題に対処するために、我々は役割の概念を通して行為者の相互作用のダイナミクスをモデル化するコンパクトな多層アーキテクチャを提案する。我々は、多数のパラメータによってパラメータ化された多層アーキテクチャを効率的に最適化するためにヘシアン考慮ベイズ最適化を導入し、Mutny & Krause (2018)以来、加法的高次元ベイズ最適化において初めて改善された後悔境界を与える。我々のアプローチは、不正な報酬や疎な報酬の下で強力な経験的結果を示す。

要約(オリジナル)

Many approaches for optimizing decision making systems rely on gradient based methods requiring informative feedback from the environment. However, in the case where such feedback is sparse or uninformative, such approaches may result in poor performance. Derivative-free approaches such as Bayesian Optimization mitigate the dependency on the quality of gradient feedback, but are known to scale poorly in the high-dimension setting of complex decision making systems. This problem is exacerbated if the system requires interactions between several actors cooperating to accomplish a shared goal. To address the dimensionality challenge, we propose a compact multi-layered architecture modeling the dynamics of actor interactions through the concept of role. We introduce Hessian-aware Bayesian Optimization to efficiently optimize the multi-layered architecture parameterized by a large number of parameters, and give the first improved regret bound in additive high-dimensional Bayesian Optimization since Mutny & Krause (2018). Our approach shows strong empirical results under malformed or sparse reward.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL