AI Does Not Alter Perceptions of Text Messages

要約

多くの人にとって、不安、うつ病、その他の社会的および精神的要因により、テキスト メッセージを作成することが積極的な課題となることがあります。
この問題を解決するには、大規模言語モデル (LLM) が、テキスト メッセージ送信が困難またはストレスに感じるユーザーを支援するのに最適なツールであることがまだ証明される可能性があります。
しかし、LLM の使用法は急速に普及しているにもかかわらず、テキスト メッセージ作成における LLM の補助的な使用方法については検討されていません。
LLM の使用に関する主な懸念は、AI に対する世論の悪化により、その使用が AI 支援テキスト メッセージの認識を損ない、使用が逆効果になる可能性があることです。
この可能性を検証するために、テキスト メッセージが AI による作成支援を受けた、または受けなかったという信念によって、そのテキスト メッセージの知覚されるトーン、明瞭さ、意図を伝える能力がどのように変化するかを調査します。
この研究では、ランダムにラベル付けされた 18 個の作成済みテキスト メッセージに対する 26 人の参加者の認識を調査しました。
メッセージのトーン、明瞭さ、意図を伝える能力に関する参加者の評価を分析したところ、AI が利用されているという信念が受信者の認識を変えるという統計的に有意な証拠はないことがわかりました。
これは、LLM ベースのテキスト メッセージ作成支援が、逆効果のリスクなしに実装できるという希望に満ちた証拠を提供します。

要約(オリジナル)

For many people, anxiety, depression, and other social and mental factors can make composing text messages an active challenge. To remedy this problem, large language models (LLMs) may yet prove to be the perfect tool to assist users that would otherwise find texting difficult or stressful. However, despite rapid uptake in LLM usage, considerations for their assistive usage in text message composition have not been explored. A primary concern regarding LLM usage is that poor public sentiment regarding AI introduces the possibility that its usage may harm perceptions of AI-assisted text messages, making usage counter-productive. To (in)validate this possibility, we explore how the belief that a text message did or did not receive AI assistance in composition alters its perceived tone, clarity, and ability to convey intent. In this study, we survey the perceptions of 26 participants on 18 randomly labeled pre-composed text messages. In analyzing the participants’ ratings of message tone, clarity, and ability to convey intent, we find that there is no statistically significant evidence that the belief that AI is utilized alters recipient perceptions. This provides hopeful evidence that LLM-based text message composition assistance can be implemented without the risk of counter-productive outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google