$ε$-Policy Gradient for Online Pricing

要約

本稿では、モデルベースとモデルフリーの強化学習アプローチを組み合わせて、オンライン価格設定学習タスクのための$epsilon$-policy gradientアルゴリズムを提案し、分析する。本アルゴリズムは、$epsilon$-greedyアルゴリズムを、貪欲な利用を勾配降下ステップに置き換えることで拡張し、モデル推論による学習を容易にする。探索確率$epsilon$で探索コストを定量化し、勾配降下最適化と勾配推定誤差で搾取コストを定量化することにより、提案アルゴリズムの後悔を最適化する。本アルゴリズムは、$T$回の試行で$mathcal{O}(Γsqrt{T})$の期待後悔を達成する。

要約(オリジナル)

Combining model-based and model-free reinforcement learning approaches, this paper proposes and analyzes an $\epsilon$-policy gradient algorithm for the online pricing learning task. The algorithm extends $\epsilon$-greedy algorithm by replacing greedy exploitation with gradient descent step and facilitates learning via model inference. We optimize the regret of the proposed algorithm by quantifying the exploration cost in terms of the exploration probability $\epsilon$ and the exploitation cost in terms of the gradient descent optimization and gradient estimation errors. The algorithm achieves an expected regret of order $\mathcal{O}(\sqrt{T})$ (up to a logarithmic factor) over $T$ trials.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL