Mind the Gap! Choice Independence in Using Multilingual LLMs for Persuasive Co-Writing Tasks in Different Languages

要約

生成AIの最近の進歩は、新しい執筆アシスタントの増殖を引き起こしました。
これらのシステムは通常、多言語の大規模な言語モデル（LLM）に依存しており、グローバル化された労働者にさまざまな言語で多様な形態のコンテンツを修正または作成する能力を提供します。
ただし、多言語LLMのパフォーマンスが言語間で異なることを示す実質的な証拠があります。
したがって、複数の言語の執筆支援を採用しているユーザーは、異なる出力品質の影響を受けやすくなります。
重要なことに、最近の研究は、人々が独立したタスク全体でアルゴリズムエラーを一般化する傾向があり、選択の独立性の行動公理に違反する傾向があることを示しています。
このペーパーでは、慈善広告ライティングタスクでの新しいライティングアシスタントのユーザー利用が第二言語でのAIのパフォーマンスの影響を受けるかどうかを分析します。
さらに、これらのパターンが生成された慈善広告の説得力に変換される程度と、寄付の選択におけるLLM利用に関する人々の信念の役割を定量化します。
私たちの結果は、LLMベースのライティングアシスタントに従事する作家が選択肢の独立性に違反するという証拠を提供します。スペイン語のLLMへの事前の暴露により、英語LLMのその後の利用が減少します。
これらのパターンは、生成された広告の総説得力に影響しませんが、広告のソース（人間とAI）の源に関する人々の信念。
特に、AIに生成された広告を読むと信じていたスペイン語を話す女性の参加者は、寄付行動を強く調整しました。
さらに、人々は一般に、人間で生成された広告とLLMが生成する広告を適切に区別することができません。
私たちの仕事は、特に執筆タスクにおいて、多言語LLMSとしての多言語LLMの設計、開発、統合、および採用に重要な意味を持っています。

要約(オリジナル)

Recent advances in generative AI have precipitated a proliferation of novel writing assistants. These systems typically rely on multilingual large language models (LLMs), providing globalized workers the ability to revise or create diverse forms of content in different languages. However, there is substantial evidence indicating that the performance of multilingual LLMs varies between languages. Users who employ writing assistance for multiple languages are therefore susceptible to disparate output quality. Importantly, recent research has shown that people tend to generalize algorithmic errors across independent tasks, violating the behavioral axiom of choice independence. In this paper, we analyze whether user utilization of novel writing assistants in a charity advertisement writing task is affected by the AI’s performance in a second language. Furthermore, we quantify the extent to which these patterns translate into the persuasiveness of generated charity advertisements, as well as the role of peoples’ beliefs about LLM utilization in their donation choices. Our results provide evidence that writers who engage with an LLM-based writing assistant violate choice independence, as prior exposure to a Spanish LLM reduces subsequent utilization of an English LLM. While these patterns do not affect the aggregate persuasiveness of the generated advertisements, people’s beliefs about the source of an advertisement (human versus AI) do. In particular, Spanish-speaking female participants who believed that they read an AI-generated advertisement strongly adjusted their donation behavior downwards. Furthermore, people are generally not able to adequately differentiate between human-generated and LLM-generated ads. Our work has important implications for the design, development, integration, and adoption of multilingual LLMs as assistive agents — particularly in writing tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google