Policy Learning with Asymmetric Counterfactual Utilities

要約

データに基づいた意思決定は、医療や公共政策のような一か八かの場面でも重要な役割を果たします。
観察されたデータから最適なポリシーを学習するには、母集団全体で期待値が最大化される効用関数を注意深く定式化する必要があります。
研究者は通常、観察された結果のみに依存する効用を使用しますが、多くの設定では、意思決定者の効用関数は、すべてのアクションの下での潜在的な結果の統合セットによってより適切に特徴付けられます。
たとえば、「危害を加えない」というヒポクラテスの原則は、治療を受けなければ生き残るであろう患者を死に至らしめるコストが、救命治療を放棄するコストよりも大きいことを意味します。
潜在的な結果の共同セットを考慮する、この形式の非対称反事実効用関数を使用した最適な政策学習を検討します。
非対称の反事実効用が識別不可能な期待効用関数につながることを示し、最初にそれを部分的に識別します。
次に、統計的決定理論を利用して、さまざまな代替政策と比較して予想される最大の効用損失を最小限に抑えることにより、ミニマックス決定ルールを導き出します。
中間分類問題を解くことで観測データからミニマックス損失決定ルールを学習できることを示し、この手順の有限サンプル超過期待効用損失がこれらの中間分類器のリグレットによって制限されることを確立します。
私たちは、この概念的な枠組みと方法論を、肺高血圧症の可能性がある患者に右心カテーテル検査を使用するかどうかの決定に適用します。

要約(オリジナル)

Data-driven decision making plays an important role even in high stakes settings like medicine and public policy. Learning optimal policies from observed data requires a careful formulation of the utility function whose expected value is maximized across a population. Although researchers typically use utilities that depend on observed outcomes alone, in many settings the decision maker’s utility function is more properly characterized by the joint set of potential outcomes under all actions. For example, the Hippocratic principle to ‘do no harm’ implies that the cost of causing death to a patient who would otherwise survive without treatment is greater than the cost of forgoing life-saving treatment. We consider optimal policy learning with asymmetric counterfactual utility functions of this form that consider the joint set of potential outcomes. We show that asymmetric counterfactual utilities lead to an unidentifiable expected utility function, and so we first partially identify it. Drawing on statistical decision theory, we then derive minimax decision rules by minimizing the maximum expected utility loss relative to different alternative policies. We show that one can learn minimax loss decision rules from observed data by solving intermediate classification problems, and establish that the finite sample excess expected utility loss of this procedure is bounded by the regret of these intermediate classifiers. We apply this conceptual framework and methodology to the decision about whether or not to use right heart catheterization for patients with possible pulmonary hypertension.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google