Stochastic Direct Search Method for Blind Resource Allocation

要約

プログラマティック広告の最適化を動機として、一連のリソース全体に予算を順番に割り当てるタスクを検討します。
すべてのタイム ステップで、実行可能な割り当てが選択され、対応するランダムなリターンのみが観察されます。
目標は、累積期待収益額を最大化することです。
これは、コンバージョン数を最大化することを目的とした、マーケティング キャンペーンの下位部門にわたる予算配分の現実的なモデルです。
私たちは、特に逐次的な予算割り当てに適用される、ノイズの存在下での線形制約と導関数なしの最適化のための直接探索 (パターン探索とも呼ばれる) 手法を研究します。
これらのアルゴリズムは、リソース空間の階層的な分割に依存しないため、実装が簡単です。
実現可能な領域外の評価を回避することで、リソース割り当ての運用上の制約を尊重します。
また、(近似) 降下アルゴリズムであるため、ウォーム スタートとも互換性があります。
しかし、累積的な後悔の観点からはまだ分析されていません。
我々は、直接探索法が決定論的かつ制約のない場合に有限リグレスを達成することを示す。
評価ノイズと線形制約が存在する場合、$T^{2/3}$ のオーダーのリグレス上限を達成する直接探索の単純な拡張を提案します。
また、繰り返しの逐次テストに依存して、アプローチの実際の動作を大幅に改善するアルゴリズムの高速化バージョンも提案します。

要約(オリジナル)

Motivated by programmatic advertising optimization, we consider the task of sequentially allocating budget across a set of resources. At every time step, a feasible allocation is chosen and only a corresponding random return is observed. The goal is to maximize the cumulative expected sum of returns. This is a realistic model for budget allocation across subdivisions of marketing campaigns, with the objective of maximizing the number of conversions. We study direct search (also known as pattern search) methods for linearly constrained and derivative-free optimization in the presence of noise, which apply in particular to sequential budget allocation. These algorithms, which do not rely on hierarchical partitioning of the resource space, are easy to implement; they respect the operational constraints of resource allocation by avoiding evaluation outside of the feasible domain; and they are also compatible with warm start by being (approximate) descent algorithms. However, they have not yet been analyzed from the perspective of cumulative regret. We show that direct search methods achieves finite regret in the deterministic and unconstrained case. In the presence of evaluation noise and linear constraints, we propose a simple extension of direct search that achieves a regret upper-bound of the order of $T^{2/3}$. We also propose an accelerated version of the algorithm, relying on repeated sequential testing, that significantly improves the practical behavior of the approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google