AExGym: Benchmarks and Environments for Adaptive Experimentation

要約

科学と業界にわたるイノベーションは、ランダム化試験 (別名 A/B テスト) を使用して評価されます。
このような静的設計はシンプルで堅牢ではありますが、多くの仮説をテストするには非効率的であるか、実行不可能です。
アダプティブ デザインは理論的には統計的検出力を大幅に向上させることができますが、実際には脆弱であるため、採用は限られています。
私たちは、現実世界のデータセットに基づいた適応実験のベンチマークを提示し、非定常性、バッチ化/遅延フィードバック、複数の結果と目的、外部妥当性など、適応性を運用するための顕著な実践的な課題を強調します。
私たちのベンチマークは、人工的なインスタンスに対する数学的な保証ではなく、実用的なパフォーマンス (堅牢性など) を中心的な関心事とする方法論の開発を促進することを目的としています。
私たちはオープン ソース ライブラリである AExGym をリリースしています。これは、実験実践者がカスタム環境やアルゴリズムを開発できるように、モジュール性と拡張性を念頭に置いて設計されています。

要約(オリジナル)

Innovations across science and industry are evaluated using randomized trials (a.k.a. A/B tests). While simple and robust, such static designs are inefficient or infeasible for testing many hypotheses. Adaptive designs can greatly improve statistical power in theory, but they have seen limited adoption due to their fragility in practice. We present a benchmark for adaptive experimentation based on real-world datasets, highlighting prominent practical challenges to operationalizing adaptivity: non-stationarity, batched/delayed feedback, multiple outcomes and objectives, and external validity. Our benchmark aims to spur methodological development that puts practical performance (e.g., robustness) as a central concern, rather than mathematical guarantees on contrived instances. We release an open source library, AExGym, which is designed with modularity and extensibility in mind to allow experimentation practitioners to develop custom environments and algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google