When Testing AI Tests Us: Safeguarding Mental Health on the Digital Frontlines

要約

レッドチーミングは、AIモデルが有害なコンテンツを生成しないことを保証するインフラストラクチャの中核部分です。
過去のテクノロジーとは異なり、生成AIシステムのブラックボックスの性質には、レッドチームの個人がシステムと積極的に対話し、悪意のある俳優をシミュレートし、有害な出力を求めるために自然言語を活用するユニークな相互作用モードのテストを必要とします。
赤いチームによって行われたこの相互作業労働は、効果的に赤チームに必要な敵対的なエンゲージメント戦略と一意に結びついているメンタルヘルスの害をもたらす可能性があります。
生成的AIモデルが社会的または個人の害を広めないことを保証することの重要性は広く認識されています。エンドツーエンドのAI安全性の目に見えない基盤の1つは、モデル出力を安全に保つために働く人々の精神的健康と幸福の保護でもあります。
この論文では、AI Red-Teamersの満たされていないメンタルヘルスのニーズは、職場の安全性の重要な懸念であると主張しています。
レッドチームが行う労働に関連するユニークなメンタルヘルスへの影響を分析することにより、これらのニーズを満たし、赤チームの精神的健康を保護するために使用できる潜在的な個人および組織戦略を提案します。
私たちは、他の職業（俳優、メンタルヘルスの専門家、紛争写真家、コンテンツモデレーターを含む）に共通する一般的なレッドチームの実践と相互作用労働との間の類似点を引き出すことにより、提案された戦略を開発し、これらの専門的なスペース内の個人や組織が同様の心理的要求を考慮してメンタルヘルスを保護する方法を説明します。
これらの保護慣行に基づいて、新しいデジタルフロントラインの新たな技術的リスクを軽減する際に、レッドチーム化組織が経験する明確なメンタルヘルスの課題にセーフガードがどのように適応できるかを説明します。

要約(オリジナル)

Red-teaming is a core part of the infrastructure that ensures that AI models do not produce harmful content. Unlike past technologies, the black box nature of generative AI systems necessitates a uniquely interactional mode of testing, one in which individuals on red teams actively interact with the system, leveraging natural language to simulate malicious actors and solicit harmful outputs. This interactional labor done by red teams can result in mental health harms that are uniquely tied to the adversarial engagement strategies necessary to effectively red team. The importance of ensuring that generative AI models do not propagate societal or individual harm is widely recognized — one less visible foundation of end-to-end AI safety is also the protection of the mental health and wellbeing of those who work to keep model outputs safe. In this paper, we argue that the unmet mental health needs of AI red-teamers is a critical workplace safety concern. Through analyzing the unique mental health impacts associated with the labor done by red teams, we propose potential individual and organizational strategies that could be used to meet these needs, and safeguard the mental health of red-teamers. We develop our proposed strategies through drawing parallels between common red-teaming practices and interactional labor common to other professions (including actors, mental health professionals, conflict photographers, and content moderators), describing how individuals and organizations within these professional spaces safeguard their mental health given similar psychological demands. Drawing on these protective practices, we describe how safeguards could be adapted for the distinct mental health challenges experienced by red teaming organizations as they mitigate emerging technological risks on the new digital frontlines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google