Unpacking the Black Box: Regulating Algorithmic Decisions

要約

私たちは、エージェントが複雑な「ブラックボックス」予測関数を使用して融資、医療検査、雇用などの意思決定を行う世界、および本人が情報を知ることができる量が限られている世界で、予測アルゴリズムを最適に規制する方法を示します。
エージェントのブラックボックス モデル。
我々は、不整合が制限され、ファーストベスト予測関数が十分に複雑である限り、エージェントを完全に透明になるほど単純な予測関数に制限することは非効率であることを示します。
アルゴリズム監査は福祉を向上させることができますが、その利益は監査ツールの設計によって異なります。
多くの説明ツールの焦点である全体的な情報損失を最小限に抑えることに焦点を当てたツールは、予測関数の平均的な動作を説明することに焦点を当てているため、一般に非効率的になります。
過剰な誤検知や人種間の格差など、インセンティブの不一致の原因に焦点を当てた対象を絞ったツールは、次善の解決策を提供できます。
私たちは、消費者金融のアプリケーションを使用して理論的発見を実証的に裏付けています。そこでは、コンテキスト固有の説明ツールに基づいて規制された複雑なモデルが、単純で完全に透明なモデルよりも優れていることが文書化されています。
複雑なモデルから得られるこの利点は、貸し手と金融規制当局の両方の観点から好まれる経験的アプリケーション全体にわたるパレートの改善を表しています。

要約(オリジナル)

We show how to optimally regulate prediction algorithms in a world where an agent uses complex ‘black-box’ prediction functions to make decisions such as lending, medical testing, or hiring, and where a principal is limited in how much she can learn about the agent’s black-box model. We show that limiting agents to prediction functions that are simple enough to be fully transparent is inefficient as long as the misalignment is limited and first-best prediction functions are sufficiently complex. Algorithmic audits can improve welfare, but the gains depend on the design of the audit tools. Tools that focus on minimizing overall information loss, the focus of many explainer tools, will generally be inefficient since they focus on explaining the average behavior of the prediction function. Targeted tools that focus on the source of incentive misalignment, e.g., excess false positives or racial disparities, can provide second-best solutions. We provide empirical support for our theoretical findings using an application in consumer lending, where we document that complex models regulated based on context-specific explanation tools outperform simple, fully transparent models. This gain from complex models represents a Pareto improvement across our empirical applications that are preferred both by the lender and from the perspective of the financial regulator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google