‘Team-in-the-loop’ organisational oversight of high-stakes AI

要約

決定が個人および集団に大きな影響を与える可能性がある、リスクの高い公共部門の AI アプリケーションでは、監視が不可欠であると正しく認識されています。
公共部門における AI の監視メカニズムの形態に関する現在の考え方の多くは、人間の意思決定者が「ループ内」にいて、エラーや潜在的な害を防ぐために介入できるという考えを中心に展開しています。
ただし、多くのリスクの高い公共部門の状況では、意思決定の運用上の監視は、個人ではなく専門家チームによって行われます。
展開された AI システムをこれらの既存の運用チームの監視プロセスに統合する方法は、まだ多くの注目を集めていません。
このギャップに対処するには、制度分析を通じて、臨床的意思決定の既存の監視に対する AI の影響を調査します。
既存の監視は、専門的なトレーニング要件に組み込まれており、重要な情報を引き出すために説明と質問に大きく依存していることがわかります。
専門機関と責任メカニズムも、監視の追加的な手段として機能します。
これらの監視の側面は、AI システムによって影響を受け、再構成される可能性があります。
そのため、リスクの高い公共部門の展開で AI を採用するために必要なシステムレベルの分析を概念化するために、「チームインザループ」のより広いレンズを提案します。

要約(オリジナル)

Oversight is rightly recognised as vital within high-stakes public sector AI applications, where decisions can have profound individual and collective impacts. Much current thinking regarding forms of oversight mechanisms for AI within the public sector revolves around the idea of human decision makers being ‘in-the-loop’ and thus being able to intervene to prevent errors and potential harm. However, in a number of high-stakes public sector contexts, operational oversight of decisions is made by expert teams rather than individuals. The ways in which deployed AI systems can be integrated into these existing operational team oversight processes has yet to attract much attention. We address this gap by exploring the impacts of AI upon pre-existing oversight of clinical decision-making through institutional analysis. We find that existing oversight is nested within professional training requirements and relies heavily upon explanation and questioning to elicit vital information. Professional bodies and liability mechanisms also act as additional levers of oversight. These dimensions of oversight are impacted, and potentially reconfigured, by AI systems. We therefore suggest a broader lens of ‘team-in-the-loop’ to conceptualise the system-level analysis required for adoption of AI within high-stakes public sector deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google