Designing Decision Support Systems Using Counterfactual Prediction Sets

要約

分類タスク用の意思決定支援システムは、主に、グラウンド トゥルース ラベルの値を予測するように設計されています。
ただし、その予測は完璧ではないため、これらのシステムは人間の専門家に、これらの予測をいつどのように使用して独自の予測を更新するかを理解させる必要もあります。
残念ながら、これは困難であることが証明されています。
これに関連して、最近、代替タイプの意思決定支援システムがこの課題を回避できる可能性があると主張されています。
これらのシステムは、単一のラベル予測を提供するのではなく、等角予測子を使用して構築されたラベル予測値のセット、つまり予測セットを提供し、その予測セットからラベル値を予測するように専門家に強制的に依頼します。
しかし、これらのシステムの設計と評価はこれまで定型化された専門家モデルに依存しており、その期待には疑問があります。
このペーパーでは、オンライン学習の観点からこのタイプのシステムの設計を再検討し、エキスパート モデルを必要としない、または前提としない方法論を開発します。
私たちの方法論は、任意の等角予測子によって提供される予測セットの入れ子構造と、自然な反事実的単調性仮定を利用して、バニラバンディットアルゴリズムと比較して後悔の指数関数的な改善を達成します。
私たちは大規模なヒト被験者研究 ($n = 2{,}751$) を実施し、私たちの方法論をいくつかの競合ベースラインと比較します。
結果は、予測セットに基づく意思決定支援システムの場合、専門家の主体性レベルを制限する方が、専門家が常に独自の主体性を行使できるようにするよりもパフォーマンスが向上することを示しています。
私たちは、人間を対象とした研究で収集したデータと、システムのオープンソース実装を https://github.com/Networks-Learning/counterfactual-prediction-sets で利用できるようにしました。

要約(オリジナル)

Decision support systems for classification tasks are predominantly designed to predict the value of the ground truth labels. However, since their predictions are not perfect, these systems also need to make human experts understand when and how to use these predictions to update their own predictions. Unfortunately, this has been proven challenging. In this context, it has been recently argued that an alternative type of decision support systems may circumvent this challenge. Rather than providing a single label prediction, these systems provide a set of label prediction values constructed using a conformal predictor, namely a prediction set, and forcefully ask experts to predict a label value from the prediction set. However, the design and evaluation of these systems have so far relied on stylized expert models, questioning their promise. In this paper, we revisit the design of this type of systems from the perspective of online learning and develop a methodology that does not require, nor assumes, an expert model. Our methodology leverages the nested structure of the prediction sets provided by any conformal predictor and a natural counterfactual monotonicity assumption to achieve an exponential improvement in regret in comparison to vanilla bandit algorithms. We conduct a large-scale human subject study ($n = 2{,}751$) to compare our methodology to several competitive baselines. The results show that, for decision support systems based on prediction sets, limiting experts’ level of agency leads to greater performance than allowing experts to always exercise their own agency. We have made available the data gathered in our human subject study as well as an open source implementation of our system at https://github.com/Networks-Learning/counterfactual-prediction-sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google