Statistical Inference After Adaptive Sampling for Longitudinal Data

要約

タイトル：適応サンプリング後の長期データにおける統計推論
要旨：オンライン強化学習やその他の適応サンプリングアルゴリズムは、ユーザーの治療データを蓄積し、治療の最適化を行うためにデジタル介入実験で使用されるようになっています。本研究では、複数のユーザーから蓄積されたデータを使用してオンラインで治療の意思決定を最適化するために設計された適応サンプリングアルゴリズムによって収集された縦断的なユーザーデータに焦点を当てます。ユーザー間でデータを組み合わせることで、適応サンプリングアルゴリズムはより速く学習できる可能性があります。ただし、これらのアルゴリズムはサンプリングされたユーザーデータの軌跡間に相関を導入するため、独立同一分布（i.i.d.）データに対する標準の分散推定量が、このデータタイプにおける共通推定量の真の分散を過小評価する可能性があることを示します。この適応的にサンプリングされたデータに対してさまざまな統計分析を実行するための新しい方法を、Z-estimationを介して開発します。具体的には、適応性のあるサンドイッチ分散推定量という、適応サンプリングの下で一貫した分散推定量を導く修正されたサンドイッチ推定量を紹介します。また、私たちの結果を証明するために、非i.i.d.、適応サンプリングされた縦断的データにおける経験過程の新しい理論的ツールを開発します。本研究は、オンライン強化学習アルゴリズムが治療の意思決定を最適化する実験を設計する取り組みに着想を得ており、実験後の分析には統計推論が欠かせないことが強調されます。

要点：

– オンライン強化学習や適応サンプリングアルゴリズムは、デジタル介入実験において治療の最適化に使用される。
– 適応サンプリングによってデータを蓄積し、より速く学習することができる。
– ユーザー間でデータを組み合わせることで、標準の分散推定量が真の分散を過小評価する可能性がある。
– 適応的にサンプリングされたデータに対する新しい方法を、Z-estimationを介して開発する。
– 適応性のあるサンドイッチ分散推定量を紹介し、修正されたサンドイッチ推定量を導く。
– 縦断的データに対する経験過程の新しい理論的ツールを開発する。
– 統計推論が実験後の分析に欠かせないことが示される。

要約(オリジナル)

Online reinforcement learning and other adaptive sampling algorithms are increasingly used in digital intervention experiments to optimize treatment delivery for users over time. In this work, we focus on longitudinal user data collected by a large class of adaptive sampling algorithms that are designed to optimize treatment decisions online using accruing data from multiple users. Combining or ‘pooling’ data across users allows adaptive sampling algorithms to potentially learn faster. However, by pooling, these algorithms induce dependence between the sampled user data trajectories; we show that this can cause standard variance estimators for i.i.d. data to underestimate the true variance of common estimators on this data type. We develop novel methods to perform a variety of statistical analyses on such adaptively sampled data via Z-estimation. Specifically, we introduce the \textit{adaptive} sandwich variance estimator, a corrected sandwich estimator that leads to consistent variance estimates under adaptive sampling. Additionally, to prove our results we develop novel theoretical tools for empirical processes on non-i.i.d., adaptively sampled longitudinal data which may be of independent interest. This work is motivated by our efforts in designing experiments in which online reinforcement learning algorithms optimize treatment decisions, yet statistical inference is essential for conducting analyses after experiments conclude.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI