Decoupling Decision-Making in Fraud Prevention through Classifier Calibration for Business Logic Action

要約

機械学習モデルは通常、分類器の作成などの特定のターゲットに焦点を当てており、多くの場合、ビジネス コンテキストにおける既知の母集団特徴分布に基づいています。
ただし、個々の特徴を計算するモデルは時間の経過とともに適応して精度が向上し、デカップリングの概念が導入され、点評価からデータ分散に移行します。
ビジネス ロジック フレームワーク内のスコアベースのアクションから機械学習 (ML) 分類子を分離するための戦略として、キャリブレーション戦略を使用します。
これらの戦略を評価するために、現実世界のビジネス シナリオと複数の ML モデルを使用して比較分析を実行します。
私たちの調査結果は、このアプローチのトレードオフとパフォーマンスへの影響を浮き彫りにし、デカップリングの取り組みを最適化しようとしている実務者に貴重な洞察を提供します。
特に、アイソトニック キャリブレーション方法とベータ キャリブレーション方法は、トレーニング データとテスト データの間にシフトがあるシナリオで際立っています。

要約(オリジナル)

Machine learning models typically focus on specific targets like creating classifiers, often based on known population feature distributions in a business context. However, models calculating individual features adapt over time to improve precision, introducing the concept of decoupling: shifting from point evaluation to data distribution. We use calibration strategies as strategy for decoupling machine learning (ML) classifiers from score-based actions within business logic frameworks. To evaluate these strategies, we perform a comparative analysis using a real-world business scenario and multiple ML models. Our findings highlight the trade-offs and performance implications of the approach, offering valuable insights for practitioners seeking to optimize their decoupling efforts. In particular, the Isotonic and Beta calibration methods stand out for scenarios in which there is shift between training and testing data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google