Improving Expert Predictions with Conformal Prediction

要約

自動化された意思決定支援システムは、人間の専門家がマルチクラス分類タスクをより効率的かつ正確に解決できるように支援することを約束します。
しかし、既存のシステムでは通常、専門家がいつシステムに権限を委譲するか、いつ独自の権限を行使するかを理解する必要があります。
それ以外の場合は、専門家が独自に分類タスクを解決した方がよい場合があります。
この作業では、設計上、パフォーマンスを向上させるためにいつシステムを信頼すべきかを専門家が理解する必要のない、自動化された意思決定支援システムを開発します。
(単一の) ラベル予測を提供し、これらの予測をいつ信頼するかを専門家に決定させるのではなく、私たちのシステムは等角予測を使用して構築されたラベル予測のセットを提供します$\unicode{x2014}$predictionets$\unicode{x2014}$し、専門家に次のことを強制的に依頼します。
これらのセットからラベルを予測します。
等角予測を使用することで、私たちのシステムは、真のラベルが予測セットに含まれない確率（システムが専門家を誤解させる頻度を決定する）と、予測セットのサイズ（予測の難易度を決定する）を正確にトレードオフできます。
専門家が当社のシステムを使用して解決する必要がある分類タスク。
さらに、専門家が私たちのシステムを使用することで最大の利益を得ることができる、等角予測子を見つけるための効率的で最適に近い検索方法を開発します。
合成および実際の専門家予測を使用したシミュレーション実験は、私たちのシステムが専門家がより正確な予測を行うのに役立ち、等角予測子が依存する分類器の精度に対して堅牢であることを示しています。

要約(オリジナル)

Automated decision support systems promise to help human experts solve multiclass classification tasks more efficiently and accurately. However, existing systems typically require experts to understand when to cede agency to the system or when to exercise their own agency. Otherwise, the experts may be better off solving the classification tasks on their own. In this work, we develop an automated decision support system that, by design, does not require experts to understand when to trust the system to improve performance. Rather than providing (single) label predictions and letting experts decide when to trust these predictions, our system provides sets of label predictions constructed using conformal prediction$\unicode{x2014}$prediction sets$\unicode{x2014}$and forcefully asks experts to predict labels from these sets. By using conformal prediction, our system can precisely trade-off the probability that the true label is not in the prediction set, which determines how frequently our system will mislead the experts, and the size of the prediction set, which determines the difficulty of the classification task the experts need to solve using our system. In addition, we develop an efficient and near-optimal search method to find the conformal predictor under which the experts benefit the most from using our system. Simulation experiments using synthetic and real expert predictions demonstrate that our system may help experts make more accurate predictions and is robust to the accuracy of the classifier the conformal predictor relies on.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google