The Human Factor in AI Red Teaming: Perspectives from Social and Collaborative Computing

要約

汎用 AI の急速な進歩により、軍事およびサイバーセキュリティ アプリケーションに端を発する敵対的テストの実践である「レッド チーム化」に対する大きな関心が高まっています。
AI のレッド チーム化は、レッド チーマーの選出方法、テストの実施方法における偏見や盲点、レッド チーマーに対する有害なコンテンツの心理的影響など、人的要因に関する多くの疑問を引き起こします。
HCI および CSCW の文献は増え続けており、データのラベル付け、コンテンツのモデレーション、アルゴリズム監査などの関連実践を調査しています。
しかし、レッドチームそのものを調査した人は、いたとしてもほとんどいません。
将来の研究では、公平性からメンタルヘルス、その他の潜在的な危害の分野に至るまでのテーマが調査される可能性があります。
私たちは、創造性、革新性、思慮深い熟考をもってこれらの課題に対処し始めることができる研究者と実践者のコミュニティを促進することを目指しています。

要約(オリジナル)

Rapid progress in general-purpose AI has sparked significant interest in ‘red teaming,’ a practice of adversarial testing originating in military and cybersecurity applications. AI red teaming raises many questions about the human factor, such as how red teamers are selected, biases and blindspots in how tests are conducted, and harmful content’s psychological effects on red teamers. A growing body of HCI and CSCW literature examines related practices-including data labeling, content moderation, and algorithmic auditing. However, few, if any have investigated red teaming itself. Future studies may explore topics ranging from fairness to mental health and other areas of potential harm. We aim to facilitate a community of researchers and practitioners who can begin to meet these challenges with creativity, innovation, and thoughtful reflection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google