Who Should Predict? Exact Algorithms For Learning to Defer to Humans

要約

タイトル：私たちは誰が予測すべきか？ヒトに適切に予測させるための正確なアルゴリズム

要約：
– AI分類器はより正確な予測を行うために、ヒトに予測権限を与えることができます。
– この研究では、AI分類器と拒否者を共同でトレーニングすることで、各データポイントについて、分類器か人間が予測すべきかを決定します。
– 先行研究では、線形分類器と拒否者でゼロエラーを持つヒト-AIシステムが存在するにもかかわらず、低誤分類率を持つシステムを見つけることができない場合があることを示しています。
– この問題はNP困難であり、実現可能な場合でも低エラーレートを持つ線形ペアを得ることは困難です。
– そこで、線形ペアで問題を最適解することができる混合整数線形計画法（MILP）を提供していますが、MILPは中程度の問題にしか対応していません。
– そのため、実証的に優れた実現可能性とパフォーマンスを持つ新しい代理損失関数を提供しています。
– これらのアプローチを包括的なデータセットに適用し、広範なベースラインと比較しています。

要約(オリジナル)

Automated AI classifiers should be able to defer the prediction to a human decision maker to ensure more accurate predictions. In this work, we jointly train a classifier with a rejector, which decides on each data point whether the classifier or the human should predict. We show that prior approaches can fail to find a human-AI system with low misclassification error even when there exists a linear classifier and rejector that have zero error (the realizable setting). We prove that obtaining a linear pair with low error is NP-hard even when the problem is realizable. To complement this negative result, we give a mixed-integer-linear-programming (MILP) formulation that can optimally solve the problem in the linear setting. However, the MILP only scales to moderately-sized problems. Therefore, we provide a novel surrogate loss function that is realizable-consistent and performs well empirically. We test our approaches on a comprehensive set of datasets and compare to a wide range of baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI