Human Misperception of Generative-AI Alignment: A Laboratory Experiment

要約

私たちは、経済的意思決定の文脈において、生成的人工知能（GENAI）のアラインメントに対する人々の認識を研究するために、インセンティブ化された実験室実験を実施します。
リスク、時間の好み、社会的選好、戦略的相互作用の領域にまたがる経済問題のパネルを使用して、人間の被験者に自分自身のために選択を行い、人間のユーザーに代わってgenaiによって行われた選択を予測するよう求めます。
私たちは、人々がgenaiの選択と人間の選択の間の整合の程度を過大評価していることを発見しました。
すべての問題において、Genaiの選択に関する人間の被験者の平均予測は、Genaiの選択よりも平均的な人間被験者の選択にかなり近いものです。
個々のレベルでは、特定の問題におけるGenaiの選択に関するさまざまな被験者の予測は、同じ問題での独自の選択と非常に相関しています。
単純な理論モデルにおけるgenaiアライメントを過大評価している人々の意味を探ります。

要約(オリジナル)

We conduct an incentivized laboratory experiment to study people’s perception of generative artificial intelligence (GenAI) alignment in the context of economic decision-making. Using a panel of economic problems spanning the domains of risk, time preference, social preference, and strategic interactions, we ask human subjects to make choices for themselves and to predict the choices made by GenAI on behalf of a human user. We find that people overestimate the degree of alignment between GenAI’s choices and human choices. In every problem, human subjects’ average prediction about GenAI’s choice is substantially closer to the average human-subject choice than it is to the GenAI choice. At the individual level, different subjects’ predictions about GenAI’s choice in a given problem are highly correlated with their own choices in the same problem. We explore the implications of people overestimating GenAI alignment in a simple theoretical model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google