HiBid: A Cross-Channel Constrained Bidding System with Budget Allocation by Hierarchical Offline Deep Reinforcement Learning

要約

オンライン ディスプレイ広告プラットフォームは、毎日数十億件規模の広告リクエストにリアルタイム入札 (RTB) を提供することで、多数の広告主にサービスを提供しています。
入札戦略は、設定された財務上の制約、つまり総予算やクリック単価 (CPC) などの下でクリック数を最大化するために、複数のチャネルにわたる広告リクエストを処理します。主に単一チャネル入札に焦点を当てた既存の取り組みとは異なり、明示的に
予算割り当てを伴うクロスチャネル制約付き入札を検討してください。
具体的には、非競争的な予算配分のための補助損失を備えた高レベルのプランナーと、適応的な予算配分のためのデータ拡張を強化した低レベルのエグゼキューターで構成される、「HiBid」と呼ばれる階層型オフライン深層強化学習（DRL）フレームワークを提案します。
割り当てられた予算に応じた入札戦略。
さらに、クロスチャネル CPC 制約を満たすために、CPC ガイドに基づくアクション選択メカニズムが導入されています。
大規模なログ データとオンライン A/B テストの両方に関する広範な実験を通じて、HiBid がクリック数、CPC 満足率、投資収益率 (ROI) の点で 6 つのベースラインを上回っていることを確認しました。
また、HiBid を Meituan 広告プラットフォームに導入し、すでに毎日数万の広告主にサービスを提供しています。

要約(オリジナル)

Online display advertising platforms service numerous advertisers by providing real-time bidding (RTB) for the scale of billions of ad requests every day. The bidding strategy handles ad requests cross multiple channels to maximize the number of clicks under the set financial constraints, i.e., total budget and cost-per-click (CPC), etc. Different from existing works mainly focusing on single channel bidding, we explicitly consider cross-channel constrained bidding with budget allocation. Specifically, we propose a hierarchical offline deep reinforcement learning (DRL) framework called “HiBid”, consisted of a high-level planner equipped with auxiliary loss for non-competitive budget allocation, and a data augmentation enhanced low-level executor for adaptive bidding strategy in response to allocated budgets. Additionally, a CPC-guided action selection mechanism is introduced to satisfy the cross-channel CPC constraint. Through extensive experiments on both the large-scale log data and online A/B testing, we confirm that HiBid outperforms six baselines in terms of the number of clicks, CPC satisfactory ratio, and return-on-investment (ROI). We also deploy HiBid on Meituan advertising platform to already service tens of thousands of advertisers every day.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google