Hessian-Aware Bayesian Optimization for Decision Making Systems

要約

意思決定システムを最適化するための多くのアプローチは、環境からの有益なフィードバックを必要とする勾配ベースの方法に依存しています。
ただし、そのようなフィードバックがまばらであるか、情報が少ない場合、そのようなアプローチはパフォーマンスの低下につながる可能性があります。
ベイジアン最適化などの微分を使用しないアプローチは、勾配フィードバックの品質への依存を軽減しますが、複雑な意思決定システムの高次元設定では拡張性が低いことが知られています。
この問題は、システムが共有の目標を達成するために協力する複数のアクター間の対話を必要とする場合に悪化します。
次元の課題に対処するために、役割の概念を通じてアクターの相互作用のダイナミクスをモデル化するコンパクトな多層アーキテクチャを提案します。
さらに、多数のパラメータによってパラメータ化された多層アーキテクチャを効率的に最適化するために、ヘシアンを意識したベイジアン最適化を導入します。
実験結果は、私たちの方法 (HA-GP-UCB) が、リソースの制約と不正なフィードバック設定の下でいくつかのベンチマークで効果的に機能することを示しています。

要約(オリジナル)

Many approaches for optimizing decision making systems rely on gradient based methods requiring informative feedback from the environment. However, in the case where such feedback is sparse or uninformative, such approaches may result in poor performance. Derivative-free approaches such as Bayesian Optimization mitigate the dependency on the quality of gradient feedback, but are known to scale poorly in the high-dimension setting of complex decision making systems. This problem is exacerbated if the system requires interactions between several actors cooperating to accomplish a shared goal. To address the dimensionality challenge, we propose a compact multi-layered architecture modeling the dynamics of actor interactions through the concept of role. Additionally, we introduce Hessian-aware Bayesian Optimization to efficiently optimize the multi-layered architecture parameterized by a large number of parameters. Experimental results demonstrate that our method (HA-GP-UCB) works effectively on several benchmarks under resource constraints and malformed feedback settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google