As Confidence Aligns: Exploring the Effect of AI Confidence on Human Self-confidence in Human-AI Decision Making

要約

人間と AI の意思決定には、人間と AI の補完的な連携が不可欠です。
それを達成するための実現可能なアプローチの 1 つは、AI とユーザーの両方の調整された信頼レベルを考慮することです。
ただし、AI の信頼度がユーザーの自信度とその調整に影響を与える可能性があるため、このプロセスはさらに困難になる可能性があります。
これらのダイナミクスを調査するために、私たちはランダム化された行動実験を実施しました。
私たちの結果は、人間と AI の意思決定において、ユーザーの自信は AI の信頼と一致しており、その一致は AI が関与しなくなった後も持続する可能性があることを示しています。
この調整は、ユーザーの自信の調整に影響を与えます。
また、決定のリアルタイムの正確性フィードバックの存在により、整合性の度合いが低下することもわかりました。
これらの調査結果は、ユーザーの自信が AI の信頼と独立していないことを示唆しており、人間と AI のより良いコラボレーションの実現を目指す実務者は、このことを認識する必要があります。
私たちは人間の認知と行動と AI の連携に焦点を当てた研究を求めています。

要約(オリジナル)

Complementary collaboration between humans and AI is essential for human-AI decision making. One feasible approach to achieving it involves accounting for the calibrated confidence levels of both AI and users. However, this process would likely be made more difficult by the fact that AI confidence may influence users’ self-confidence and its calibration. To explore these dynamics, we conducted a randomized behavioral experiment. Our results indicate that in human-AI decision-making, users’ self-confidence aligns with AI confidence and such alignment can persist even after AI ceases to be involved. This alignment then affects users’ self-confidence calibration. We also found the presence of real-time correctness feedback of decisions reduced the degree of alignment. These findings suggest that users’ self-confidence is not independent of AI confidence, which practitioners aiming to achieve better human-AI collaboration need to be aware of. We call for research focusing on the alignment of human cognition and behavior with AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google