Logarithmic Neyman Regret for Adaptive Estimation of the Average Treatment Effect

要約

平均治療効果 (ATE) の推定は、強化学習におけるオフポリシー評価と強い関係を持つ因果推論の中核的な問題です。
この論文では、ATE の推定を改善するために治療割り当て確率を適応的に選択する問題を検討します。
適応型 ATE 推定に関するこれまでの研究の大部分は、漸近的保証に焦点を当てており、その結果、最適な治療の割り当てやハイパーパラメータの選択を学習することの難しさなど、重要な実際的な考慮事項が見落とされています。
既存の非漸近的手法は、経験的パフォーマンスが低く、問題パラメーターに関するネイマン後悔の指数関数的スケーリングによって制限されています。
これらのギャップに対処するために、我々は、強力な漸近最適性保証を備えた既存のアルゴリズムの変形である Clipped Second Moment Tracking (ClipSMT) アルゴリズムを提案および分析し、その Neyman リグレスに対する有限サンプル境界を提供します。
私たちの分析は、ClipSMT が 2 つの面で Neyman 後悔の指数関数的な改善を達成していることを示しています。$T$ への依存性を $O(\sqrt{T})$ から $O(\log T)$ に改善することと、指数関数的な依存性を減らすことです。
問題パラメータを多項式依存に変換します。
最後に、既存のアプローチに比べて ClipSMT が顕著に改善されたことを示すシミュレーションで締めくくります。

要約(オリジナル)

Estimation of the Average Treatment Effect (ATE) is a core problem in causal inference with strong connections to Off-Policy Evaluation in Reinforcement Learning. This paper considers the problem of adaptively selecting the treatment allocation probability in order to improve estimation of the ATE. The majority of prior work on adaptive ATE estimation focus on asymptotic guarantees, and in turn overlooks important practical considerations such as the difficulty of learning the optimal treatment allocation as well as hyper-parameter selection. Existing non-asymptotic methods are limited by poor empirical performance and exponential scaling of the Neyman regret with respect to problem parameters. In order to address these gaps, we propose and analyze the Clipped Second Moment Tracking (ClipSMT) algorithm, a variant of an existing algorithm with strong asymptotic optimality guarantees, and provide finite sample bounds on its Neyman regret. Our analysis shows that ClipSMT achieves exponential improvements in Neyman regret on two fronts: improving the dependence on $T$ from $O(\sqrt{T})$ to $O(\log T)$, as well as reducing the exponential dependence on problem parameters to a polynomial dependence. Finally, we conclude with simulations which show the marked improvement of ClipSMT over existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google