Superhuman Game AI Disclosure: Expertise and Context Moderate Effects on Trust and Fairness

要約

人工知能が選択されたタスクで人間のパフォーマンスを上回るので、超人的な能力の開示は、公平性、説明責任、信頼のための明確な課題をもたらします。
ただし、特に落胆や過度の依存などの潜在的な否定的な反応に関して、このような開示が多様なユーザーの態度や行動に与える影響は不明のままです。
このペーパーでは、ペルソナカードを利用してこれらの効果を調査します。多様なユーザーの反応と公平性の視点をシミュレートするために設計された、検証された標準化された合成ペルソナのセットです。
倫理委員会が承認した研究（n = 32）を実施し、これらのペルソナを利用して、能力開示が競争力のあるStarcraft IIシナリオで超人的なゲームAIで行動にどのように影響したかを調査しました。
我々の結果は、透明性が二重になっていることを明らかにしています。開示は疑いを軽減する可能性がありますが、協力的なシナリオで初心者の間でフラストレーションと戦略的敗北主義を引き起こし、競争の激しい状況における過依存も引き起こしました。
経験豊富で競争力のあるプレーヤーは、開示を無敵の対戦相手の確認と解釈し、最適ではない目標に移行しました。
プロファイル、プロンプト、インタラクションログ、プロトコルなどのペルソナカードデータセットをリリースして、人間のアライメントAI設計に関する再現可能な研究を促進します。
この研究は、透明性が治療法ではないことを示しています。
信頼と説明責任を強化するために開示を成功裏に活用するには、ユーザーの特性、ドメインの規範、および特定の公平性の目的に注意する必要があります。

要約(オリジナル)

As artificial intelligence surpasses human performance in select tasks, disclosing superhuman capabilities poses distinct challenges for fairness, accountability, and trust. However, the impact of such disclosures on diverse user attitudes and behaviors remains unclear, particularly concerning potential negative reactions like discouragement or overreliance. This paper investigates these effects by utilizing Persona Cards: a validated, standardized set of synthetic personas designed to simulate diverse user reactions and fairness perspectives. We conducted an ethics board-approved study (N=32), utilizing these personas to investigate how capability disclosure influenced behaviors with a superhuman game AI in competitive StarCraft II scenarios. Our results reveal transparency is double-edged: while disclosure could alleviate suspicion, it also provoked frustration and strategic defeatism among novices in cooperative scenarios, as well as overreliance in competitive contexts. Experienced and competitive players interpreted disclosure as confirmation of an unbeatable opponent, shifting to suboptimal goals. We release the Persona Cards Dataset, including profiles, prompts, interaction logs, and protocols, to foster reproducible research into human alignment AI design. This work demonstrates that transparency is not a cure-all; successfully leveraging disclosure to enhance trust and accountability requires careful tailoring to user characteristics, domain norms, and specific fairness objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google