A Unifying Post-Processing Framework for Multi-Objective Learn-to-Defer Problems

要約

Learn-to-Defer は、学習アルゴリズムを単独ではなく人間の専門家とのチームとして機能させるパラダイムです。
このパラダイムでは、システムがそのタスクのサブセットを専門家に延期することを許可します。
現在、このパラダイムに従い、最終的な人間と AI チームの精度を最適化するように設計されたシステムが存在しますが、一連の制約 (アルゴリズムの公平性、専門家の介入予算、異常の延期など) の下でそのようなシステムを開発するための一般的な方法論は、
など）ほとんどが未解明のままです。
この論文では、Neyman と Pearson の基本補題 (d-GNP) に対する $d$ 次元の一般化を使用して、さまざまな制約の下で遅延学習システムのベイズ最適解を取得します。
さらに、その解を推定するための一般化可能なアルゴリズムを設計し、このアルゴリズムを COMPAS および ACSIncome データセットに適用します。
私たちのアルゴリズムは、一連のベースラインに対して制約違反の点で改善を示しています。

要約(オリジナル)

Learn-to-Defer is a paradigm that enables learning algorithms to work not in isolation but as a team with human experts. In this paradigm, we permit the system to defer a subset of its tasks to the expert. Although there are currently systems that follow this paradigm and are designed to optimize the accuracy of the final human-AI team, the general methodology for developing such systems under a set of constraints (e.g., algorithmic fairness, expert intervention budget, defer of anomaly, etc.) remains largely unexplored. In this paper, using a $d$-dimensional generalization to the fundamental lemma of Neyman and Pearson (d-GNP), we obtain the Bayes optimal solution for learn-to-defer systems under various constraints. Furthermore, we design a generalizable algorithm to estimate that solution and apply this algorithm to the COMPAS and ACSIncome datasets. Our algorithm shows improvements in terms of constraint violation over a set of baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google