Overconfident and Unconfident AI Hinder Human-AI Collaboration

要約

人工知能 (AI) の進歩に伴い、人間と AI のコラボレーションは、専門的な場面と日常の場面の両方でますます普及してきています。
このようなコラボレーションでは、AI はそのパフォーマンスに関する信頼レベルを表現でき、人間が AI の提案を評価するための重要な指標として機能します。
ただし、AI は過信または過小自信を示す可能性があり、その表現された自信は実際のパフォーマンスよりも高いか低いため、人間が AI のアドバイスを誤って評価する可能性があります。
私たちの研究では、AI の過信と過信が人間の信頼、AI の提案の受け入れ、コラボレーションの成果に与える影響を調査しています。
私たちの調査では、AI の信頼レベルとパフォーマンスのフィードバックを公開することで、AI の信頼の不一致をより適切に認識しやすくなることが明らかになりました。
しかし、参加者はそのような不一致を認識して信頼を保留する傾向があり、AI の提案を拒否し、その後共同作業のパフォーマンスが低下することにつながります。
逆に、そのような情報がなければ、参加者は不整合を特定するのに苦労し、その結果、正しい AI アドバイスが無視されたり、誤った AI 提案に従うことになり、コラボレーションに悪影響を及ぼします。
この研究は、AI の表現された自信を実際のパフォーマンスと一致させることの重要性と、AI の信頼に対する人間の信頼を調整する必要性を強調することで、人間と AI のコラボレーションを強化するための貴重な洞察を提供します。

要約(オリジナル)

As artificial intelligence (AI) advances, human-AI collaboration has become increasingly prevalent across both professional and everyday settings. In such collaboration, AI can express its confidence level about its performance, serving as a crucial indicator for humans to evaluate AI’s suggestions. However, AI may exhibit overconfidence or underconfidence–its expressed confidence is higher or lower than its actual performance–which may lead humans to mistakenly evaluate AI advice. Our study investigates the influences of AI’s overconfidence and underconfidence on human trust, their acceptance of AI suggestions, and collaboration outcomes. Our study reveal that disclosing AI confidence levels and performance feedback facilitates better recognition of AI confidence misalignments. However, participants tend to withhold their trust as perceiving such misalignments, leading to a rejection of AI suggestions and subsequently poorer performance in collaborative tasks. Conversely, without such information, participants struggle to identify misalignments, resulting in either the neglect of correct AI advice or the following of incorrect AI suggestions, adversely affecting collaboration. This study offers valuable insights for enhancing human-AI collaboration by underscoring the importance of aligning AI’s expressed confidence with its actual performance and the necessity of calibrating human trust towards AI confidence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google