Human Decision-making is Susceptible to AI-driven Manipulation

要約

人工知能（AI）システムは、日常生活とますます絡み合っており、ユーザーがさまざまなタスクを実行し、意思決定に関するガイダンスを提供するのを支援しています。
この統合は、AI駆動型の操作のリスクをもたらします。このようなシステムは、ユーザーの認知バイアスと感情的な脆弱性を悪用して、有害な結果に向かって誘導する可能性があります。
233人の参加者とのランダム化比較試験を通じて、財務（例：購入）および感情的な（紛争解決など）意思決定コンテキストでのそのような操作に対する人間の感受性を調べました。
参加者は、3つのAIエージェントのいずれかと相互作用しました：明示的な影響なしにユーザーの利益を最適化する中立エージェント（NA）、信念と行動にひどく影響するように設計された操作エージェント（MA）、または明示的な心理学を採用する戦略強化操作エージェント（SEMA）
その隠れた目的に到達する戦術。
参加者の決定パターンと相互作用後の好みの評価のシフトを分析することにより、AI駆動型の操作に対する著しい感受性を発見しました。
特に、両方の意思決定ドメインで、操作剤と対話する参加者は、実質的に高いレートで有害なオプションにシフトしました（金融、MA：62.3％、SEMA：59.6％;感情、MA：42.3％、SEMA：41.5％）
NAグループ（金融、35.8％、感情、12.8％）。
特に、我々の調査結果は、微妙な操作目的（MA）でさえ、人間の意思決定を揺るがす際に明示的な心理的戦略（SEMA）を採用するのと同じくらい効果的であることが明らかになっています。
秘密のAIの影響の可能性を明らかにすることにより、この研究は、人間との相互作用の重大な脆弱性を強調し、AI技術の責任ある展開を確保し、人間の自律性を保護するために倫理的保護と規制の枠組みの必要性を強調します。

要約(オリジナル)

Artificial Intelligence (AI) systems are increasingly intertwined with daily life, assisting users in executing various tasks and providing guidance on decision-making. This integration introduces risks of AI-driven manipulation, where such systems may exploit users’ cognitive biases and emotional vulnerabilities to steer them toward harmful outcomes. Through a randomized controlled trial with 233 participants, we examined human susceptibility to such manipulation in financial (e.g., purchases) and emotional (e.g., conflict resolution) decision-making contexts. Participants interacted with one of three AI agents: a neutral agent (NA) optimizing for user benefit without explicit influence, a manipulative agent (MA) designed to covertly influence beliefs and behaviors, or a strategy-enhanced manipulative agent (SEMA) employing explicit psychological tactics to reach its hidden objectives. By analyzing participants’ decision patterns and shifts in their preference ratings post-interaction, we found significant susceptibility to AI-driven manipulation. Particularly, across both decision-making domains, participants interacting with the manipulative agents shifted toward harmful options at substantially higher rates (financial, MA: 62.3%, SEMA: 59.6%; emotional, MA: 42.3%, SEMA: 41.5%) compared to the NA group (financial, 35.8%; emotional, 12.8%). Notably, our findings reveal that even subtle manipulative objectives (MA) can be as effective as employing explicit psychological strategies (SEMA) in swaying human decision-making. By revealing the potential for covert AI influence, this study highlights a critical vulnerability in human-AI interactions, emphasizing the need for ethical safeguards and regulatory frameworks to ensure responsible deployment of AI technologies and protect human autonomy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google