Human-Aligned Calibration for AI-Assisted Decision Making

要約

バイナリ分類器を使用して意思決定サポートを提供する場合、通常はラベル予測と信頼値の両方が提供されます。
次に、意思決定者は信頼値を使用して、予測をどの程度信頼するかを調整する必要があります。
これに関連して、信頼値は、予測されたラベルがグランド トゥルース ラベルと一致する確率の適切に校正された推定値に対応する必要があるとよく議論されてきました。
しかし、複数の経験的証拠は、意思決定者がこれらの信頼値を使用した予測をいつ信頼すべきかについて適切な感覚を養うことが難しいことを示唆しています。
このペーパーでは、私たちの目標は、まずその理由を理解し、次に、より有用な信頼値を構築する方法を調査することです。
まず、広範な種類の効用関数について、合理的な意思決定者が上記の信頼値を使用して最適な意思決定ポリシーを発見する可能性は一般に低いデータ分布が存在することを主張します。最適な意思決定者は、場合によっては、最適な意思決定ポリシーを発見する必要があるでしょう。
信頼値が低い (高い) 予測に対して、より多く (より少ない) 信頼を置きます。
しかし、その後、信頼値が意思決定者自身の予測に対する信頼に関して自然な整合特性を満たしている場合、意思決定者が予測に置く必要がある信頼のレベルに基づいた最適な意思決定ポリシーが常に存在することを示します。
は信頼値に関して単調であるため、発見しやすくなっています。
さらに、意思決定者自身の予測に対する信頼度に関するマルチキャリブレーションが、調整の十分条件であることを示します。
分類器が実際の人間の専門家に意思決定サポートを提供する 4 つの異なる AI 支援意思決定タスクの実験により、理論的結果が検証され、調整がより良い意思決定につながる可能性があることが示唆されました。

要約(オリジナル)

Whenever a binary classifier is used to provide decision support, it typically provides both a label prediction and a confidence value. Then, the decision maker is supposed to use the confidence value to calibrate how much to trust the prediction. In this context, it has been often argued that the confidence value should correspond to a well calibrated estimate of the probability that the predicted label matches the ground truth label. However, multiple lines of empirical evidence suggest that decision makers have difficulties at developing a good sense on when to trust a prediction using these confidence values. In this paper, our goal is first to understand why and then investigate how to construct more useful confidence values. We first argue that, for a broad class of utility functions, there exist data distributions for which a rational decision maker is, in general, unlikely to discover the optimal decision policy using the above confidence values — an optimal decision maker would need to sometimes place more (less) trust on predictions with lower (higher) confidence values. However, we then show that, if the confidence values satisfy a natural alignment property with respect to the decision maker’s confidence on her own predictions, there always exists an optimal decision policy under which the level of trust the decision maker would need to place on predictions is monotone on the confidence values, facilitating its discoverability. Further, we show that multicalibration with respect to the decision maker’s confidence on her own predictions is a sufficient condition for alignment. Experiments on four different AI-assisted decision making tasks where a classifier provides decision support to real human experts validate our theoretical results and suggest that alignment may lead to better decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google