Reliable Off-Policy Learning for Dosage Combinations

要約

がん治療や救急医療などの個別化医療における意思決定では、多くの場合、投与量の組み合わせ、つまり複数の連続治療を選択する必要があります。
この課題に関する既存の研究では、複数の治療の効果が個別にモデル化されていますが、共同効果の推定はほとんど注目されていませんが、重要な課題が伴います。
この論文では、用量の組み合わせに対する信頼性の高いオフポリシー学習のための新しい方法を提案します。
私たちの方法は 3 つのステップに沿って進められます。 (1) 複数の依存性用量の共同効果を考慮しながら、個別の用量反応関数を推定する調整されたニューラル ネットワークを開発します。
(2) 共有共変量処理空間内で重複が限定された領域を検出するために、条件付き正規化フローを使用して一般化傾向スコアを推定します。
(3) 最適な個別の投与量の組み合わせを見つけるための勾配ベースの学習アルゴリズムを紹介します。
ここでは、重複が限られた領域を回避することで、政策価値の信頼性の高い推定を保証します。
最後に、メソッドの広範な評価を実行して、その有効性を示します。
私たちの知る限り、私たちの研究は、最適な投与量の組み合わせについて信頼性の高いオフポリシー学習の方法を提供する最初の研究です。

要約(オリジナル)

Decision-making in personalized medicine such as cancer therapy or critical care must often make choices for dosage combinations, i.e., multiple continuous treatments. Existing work for this task has modeled the effect of multiple treatments independently, while estimating the joint effect has received little attention but comes with non-trivial challenges. In this paper, we propose a novel method for reliable off-policy learning for dosage combinations. Our method proceeds along three steps: (1) We develop a tailored neural network that estimates the individualized dose-response function while accounting for the joint effect of multiple dependent dosages. (2) We estimate the generalized propensity score using conditional normalizing flows in order to detect regions with limited overlap in the shared covariate-treatment space. (3) We present a gradient-based learning algorithm to find the optimal, individualized dosage combinations. Here, we ensure reliable estimation of the policy value by avoiding regions with limited overlap. We finally perform an extensive evaluation of our method to show its effectiveness. To the best of our knowledge, ours is the first work to provide a method for reliable off-policy learning for optimal dosage combinations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google