The effect of source disclosure on evaluation of AI-generated messages: A two-part study

要約

過去 10 年間の人工知能 (AI) の進歩は、機械がコミュニケーション行動を示し、人間の考え方、感じ方、行動に影響を与えることができることを実証しています。
実際、ChatGPT の最近の開発では、大規模言語モデル (LLM) を活用して、大規模かつドメイン間で高品質のコミュニケーション コンテンツを生成できることが示されており、実際に LLM がますます使用されることが示唆されています。
ただし、メッセージの送信元を知ることが、人間が生成したメッセージと比較して、AI が生成したメッセージに対する受信者の評価や好みにどのような影響を与えるかについては、多くの疑問が残っています。
この文書では、電子タバコ防止メッセージの文脈でこのトピックを調査しました。
事前登録された研究 1 では、人間が生成したメッセージと比較して、AI が生成した健康予防メッセージに対する人々の評価に対するソース開示の影響を調査しました。
私たちは、ソースの開示 (つまり、メッセージのソースを AI 対人間としてラベル付けすること) がメッセージの評価に大きな影響を与えましたが、メッセージのランキングを大きく変えることはなかったことがわかりました。
追跡調査(研究 2)では、AI に対する参加者の否定的な態度によって、ソース開示の影響がどのように変化するかを調査しました。
私たちは、AI に対する否定的な態度がメッセージの評価に与える重大な緩和効果を発見しましたが、メッセージの選択には影響しませんでした。
しかし、AI に対して中程度の否定的な態度を持つ人々にとっては、情報源の開示によって AI が生成したメッセージに対する好みが減少しました。
全体として、この一連の研究の結果は、ソースが公開されると、AI が生成したメッセージに対してわずかなバイアスがかかることを示しており、AI とコミュニケーションの交差点にある新たな研究分野がさらに増えました。

要約(オリジナル)

Advancements in artificial intelligence (AI) over the last decade demonstrate that machines can exhibit communicative behavior and influence how humans think, feel, and behave. In fact, the recent development of ChatGPT has shown that large language models (LLMs) can be leveraged to generate high-quality communication content at scale and across domains, suggesting that they will be increasingly used in practice. However, many questions remain about how knowing the source of the messages influences recipients’ evaluation of and preference for AI-generated messages compared to human-generated messages. This paper investigated this topic in the context of vaping prevention messaging. In Study 1, which was pre-registered, we examined the influence of source disclosure on people’s evaluation of AI-generated health prevention messages compared to human-generated messages. We found that source disclosure (i.e., labeling the source of a message as AI vs. human) significantly impacted the evaluation of the messages but did not significantly alter message rankings. In a follow-up study (Study 2), we examined how the influence of source disclosure may vary by the participants’ negative attitudes towards AI. We found a significant moderating effect of negative attitudes towards AI on message evaluation, but not for message selection. However, for those with moderate levels of negative attitudes towards AI, source disclosure decreased the preference for AI-generated messages. Overall, the results of this series of studies showed a slight bias against AI-generated messages once the source was disclosed, adding to the emerging area of study that lies at the intersection of AI and communication.

arxiv情報

著者 Sue Lim,Ralf Schmälzle
発行日 2023-11-27 05:20:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL パーマリンク