On the Actionability of Outcome Prediction

要約

将来の結果を予測することは、社会的影響の分野における機械学習の広く応用されています。
例は、教育における生徒の成功の予測から医療における病気のリスクの予測まで多岐にわたります。
実務家は、最終的な目標は予測するだけではなく、効果的に行動することであると認識しています。
下流介入の結果予測に依存すると、望ましい結果が得られない可能性があることを示す証拠が増えています。
ほとんどの領域では、各個人に対して可能な介入が多数存在し、効果的な行動をとるという課題がより深刻になっています。
個人の潜在的な状態を結果に結びつける因果関係のメカニズムが十分に理解されている場合でも、特定の事例（特定の生徒または患者）において、実践者は依然として、潜在的な状態の予算に基づいた測定値から、多くの可能な介入のうちどれが最も効果的であるかを推測する必要があります。
この人には効果的です。
これを念頭に置いて、私たちは次の質問をします。最適な介入を特定するために、結果の正確な予測因子が役立つのはいつですか?
アクション、潜在状態、測定を含む単純なモデルを通じて、純粋な結果予測が、他の測定と組み合わせた場合でも、アクションを実行するための最も効果的なポリシーをもたらすことはめったにないことを実証します。
結果を改善するための決定的な行動が 1 つある場合を除いて、結果予測は行動を起こすことの効用である「行動価値」を決して最大化しないことがわかりました。
特定のアクションが望ましい結果につながる、アクション可能な潜在状態を測定すると、結果の予測と比較してアクションの価値が大幅に向上し、改善の程度はアクションのコストと結果モデルに依存します。
この分析は、もっともらしい行動と潜在的な状態の知識を組み込むことによって、介入設定における一般的な結果の予測を超える必要性を強調しています。

要約(オリジナル)

Predicting future outcomes is a prevalent application of machine learning in social impact domains. Examples range from predicting student success in education to predicting disease risk in healthcare. Practitioners recognize that the ultimate goal is not just to predict but to act effectively. Increasing evidence suggests that relying on outcome predictions for downstream interventions may not have desired results. In most domains there exists a multitude of possible interventions for each individual, making the challenge of taking effective action more acute. Even when causal mechanisms connecting the individual’s latent states to outcomes is well understood, in any given instance (a specific student or patient), practitioners still need to infer — from budgeted measurements of latent states — which of many possible interventions will be most effective for this individual. With this in mind, we ask: when are accurate predictors of outcomes helpful for identifying the most suitable intervention? Through a simple model encompassing actions, latent states, and measurements, we demonstrate that pure outcome prediction rarely results in the most effective policy for taking actions, even when combined with other measurements. We find that except in cases where there is a single decisive action for improving the outcome, outcome prediction never maximizes ‘action value’, the utility of taking actions. Making measurements of actionable latent states, where specific actions lead to desired outcomes, considerably enhances the action value compared to outcome prediction, and the degree of improvement depends on action costs and the outcome model. This analysis emphasizes the need to go beyond generic outcome prediction in interventional settings by incorporating knowledge of plausible actions and latent states.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google