Software Doping Analysis for Human Oversight

要約

この記事では、ソフトウェアが引き起こす可能性のある社会的リスクの軽減を支援することを目的としたフレームワークを紹介します。
具体的には、これにはソフトウェアのドーピングや、高リスクの意思決定システムにおける不公平や差別の側面が含まれます。
ソフトウェア ドーピングという用語は、ユーザーの利益に反する機能が密かに追加されたソフトウェアを指します。
ソフトウェアドーピングの顕著な例は、ディーゼル排ガススキャンダルが表面化したときに世界中の何百万台もの車で発見された、改ざんされた排ガス浄化システムです。
この記事の最初の部分では、ソフトウェア ドーピング分析の正式な基礎と確立された確率的改ざん手法を組み合わせて、ソフトウェアの望ましくない影響を特定するためのブラック ボックス分析手法に到達します。
私たちはこの技術をディーゼル車の排ガス浄化システムに適用していますが、不公平または差別的な方法で人間を評価するリスクの高いシステムにも適用しています。
私たちのアプローチが、参加者がより良い情報に基づいて、より責任ある意思決定を下すのにどのように役立つかを示します。
これは、人間による効果的な監視を促進するためであり、これは欧州連合の次期 AI 法によって施行される中心的な要件となります。
私たちは、そのようなシステムによって引き起こされる潜在的な問題について、法律的、哲学的、心理学的に情報に基づいた視点で技術的貢献を補完します。

要約(オリジナル)

This article introduces a framework that is meant to assist in mitigating societal risks that software can pose. Concretely, this encompasses facets of software doping as well as unfairness and discrimination in high-risk decision-making systems. The term software doping refers to software that contains surreptitiously added functionality that is against the interest of the user. A prominent example of software doping are the tampered emission cleaning systems that were found in millions of cars around the world when the diesel emissions scandal surfaced. The first part of this article combines the formal foundations of software doping analysis with established probabilistic falsification techniques to arrive at a black-box analysis technique for identifying undesired effects of software. We apply this technique to emission cleaning systems in diesel cars but also to high-risk systems that evaluate humans in a possibly unfair or discriminating way. We demonstrate how our approach can assist humans-in-the-loop to make better informed and more responsible decisions. This is to promote effective human oversight, which will be a central requirement enforced by the European Union’s upcoming AI Act. We complement our technical contribution with a juridically, philosophically, and psychologically informed perspective on the potential problems caused by such systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google