Cost-Sensitive Learning to Defer to Multiple Experts with Workload Constraints

要約

Learning to Defer (L2D) は、ML 分類器よりも正しい可能性が高い場合に人間に決定を延期する方法を学習することで、人間と AI のコラボレーション システムを改善することを目的としています。
L2D に関する既存の研究では、その実用化を妨げる現実世界のシステムの重要な側面が見落とされています。つまり、i) タイプ 1 エラーとタイプ 2 エラーのコストが異なるコスト重視のシナリオを無視しています。
ii) トレーニング データセットのすべてのインスタンスに対して人間による同時予測を必要とすること、および iii) 人間の作業能力の制約に対処しないこと。
これらの問題に対処するために、コストと容量の制約による延期フレームワーク (DeCCaF) を提案します。
DeCCaF は、新しい L2D アプローチであり、教師あり学習を採用して、より制限の少ないデータ要件 (インスタンスごとに専門家の予測が 1 つだけ) の下で人的エラーの確率をモデル化し、制約プログラミングを使用してワークロードの制限に従うエラー コストをグローバルに最小化します。
私たちは、9 人の合成詐欺アナリストからなるさまざまなチームを使用し、個々の作業能力に制約がある一連のコスト重視の詐欺検出シナリオで DeCCaF をテストします。
結果は、私たちのアプローチがさまざまなシナリオでベースラインよりも大幅に優れたパフォーマンスを示し、誤分類コストの平均 8.4% 削減を達成したことを示しています。

要約(オリジナル)

Learning to defer (L2D) aims to improve human-AI collaboration systems by learning how to defer decisions to humans when they are more likely to be correct than an ML classifier. Existing research in L2D overlooks key aspects of real-world systems that impede its practical adoption, namely: i) neglecting cost-sensitive scenarios, where type 1 and type 2 errors have different costs; ii) requiring concurrent human predictions for every instance of the training dataset and iii) not dealing with human work capacity constraints. To address these issues, we propose the deferral under cost and capacity constraints framework (DeCCaF). DeCCaF is a novel L2D approach, employing supervised learning to model the probability of human error under less restrictive data requirements (only one expert prediction per instance) and using constraint programming to globally minimize the error cost subject to workload limitations. We test DeCCaF in a series of cost-sensitive fraud detection scenarios with different teams of 9 synthetic fraud analysts, with individual work capacity constraints. The results demonstrate that our approach performs significantly better than the baselines in a wide array of scenarios, achieving an average 8.4% reduction in the misclassification cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google