Model-based Causal Bayesian Optimization

要約

因果ベイジアン最適化 (CBO) では、エージェントが未知の構造的因果モデルに介入して、下流の報酬変数を最大化します。
この論文では、他のエージェントや外部イベントもシステムに介入する一般化について考察します。これは、天候の変化、市場の力、敵対者などの非定常性への適応を可能にする鍵となります。
我々は、この CBO の一般化を Adversarial Causal Bayesian Optimization (ACBO) として形式化し、制限付きリグレットを備えた ACBO の最初のアルゴリズムである乗算重み付き Causal Bayesian Optimization (CBO-MW) を導入します。
私たちのアプローチは、古典的なオンライン学習戦略と報酬の因果モデリングを組み合わせたものです。
これを達成するために、因果関係グラフを通じて不確実性を伝播することにより、楽観的な反事実的な報酬推定値を計算します。
グラフ関連量に自然に依存する CBO-MW のリグレス限界を導き出します。
さらに、組み合わせ介入とサブモジュール報酬の場合のスケーラブルな実装を提案します。
経験的に、CBO-MW は、合成環境や実際のデータに基づく環境において、非因果的および非敵対的なベイジアン最適化手法よりも優れたパフォーマンスを発揮します。
私たちの実験には、CBO-MW を使用して共有モビリティ システムにおけるユーザーの需要パターンを学習し、戦略的エリアに車両を再配置する方法の現実的なデモンストレーションが含まれています。

要約(オリジナル)

In Causal Bayesian Optimization (CBO), an agent intervenes on an unknown structural causal model to maximize a downstream reward variable. In this paper, we consider the generalization where other agents or external events also intervene on the system, which is key for enabling adaptiveness to non-stationarities such as weather changes, market forces, or adversaries. We formalize this generalization of CBO as Adversarial Causal Bayesian Optimization (ACBO) and introduce the first algorithm for ACBO with bounded regret: Causal Bayesian Optimization with Multiplicative Weights (CBO-MW). Our approach combines a classical online learning strategy with causal modeling of the rewards. To achieve this, it computes optimistic counterfactual reward estimates by propagating uncertainty through the causal graph. We derive regret bounds for CBO-MW that naturally depend on graph-related quantities. We further propose a scalable implementation for the case of combinatorial interventions and submodular rewards. Empirically, CBO-MW outperforms non-causal and non-adversarial Bayesian optimization methods on synthetic environments and environments based on real-word data. Our experiments include a realistic demonstration of how CBO-MW can be used to learn users’ demand patterns in a shared mobility system and reposition vehicles in strategic areas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google