Modulating Language Model Experiences through Frictions

要約

言語モデルは、ユーザーが世界と関わる方法を変革しています。
優れた機能にもかかわらず、言語モデルの出力を過剰に消費すると、短期的にはチェックされていないエラーが伝播し、長期的には人間の批判的思考能力にダメージを与えるリスクがあります。
より適切な使用を管理するために、言語モデルの周囲に足場を構築するにはどうすればよいでしょうか?
私たちは、誤用を抑制するために、行動科学の介入に触発された言語モデル体験の選択的摩擦を提案します。
摩擦には、ユーザーのエクスペリエンスに対する小さな変更が含まれます。たとえば、モデルへのアクセスを妨げるボタンの追加や、モデルに関する専門知識をユーザーに思い出させるなどです。
実際の人間を対象としたユーザー調査を通じて、人々が教育や教育などで LLM を使用する可能性のある代表的なタスクとして、複数トピックの質問に答えるタスクのコンテキストで LLM に対する摩擦を課すことによるユーザー行動の変化を観察しました。
情報検索。
摩擦は、トピックの精度への影響を最小限に抑えながら、ユーザーのクリック率を下げることによって過剰依存を調整することがわかりました。
しかし、摩擦は意図しない影響を与える可能性があります。
フリクションがプロビジョニングされていないトピックでも、ユーザーのクリック動作に顕著な違いがあることがわかりました。
私たちの貢献は、人間と AI の行動相互作用のさらなる研究を促進し、より効果的かつ適切な LLM の使用を知らせます。

要約(オリジナル)

Language models are transforming the ways that their users engage with the world. Despite impressive capabilities, over-consumption of language model outputs risks propagating unchecked errors in the short-term and damaging human capabilities for critical thinking in the long-term. How can we develop scaffolding around language models to curate more appropriate use? We propose selective frictions for language model experiences, inspired by behavioral science interventions, to dampen misuse. Frictions involve small modifications to a user’s experience, e.g., the addition of a button impeding model access and reminding a user of their expertise relative to the model. Through a user study with real humans, we observe shifts in user behavior from the imposition of a friction over LLMs in the context of a multi-topic question-answering task as a representative task that people may use LLMs for, e.g., in education and information retrieval. We find that frictions modulate over-reliance by driving down users’ click rates while minimally affecting accuracy for those topics. Yet, frictions may have unintended effects. We find marked differences in users’ click behaviors even on topics where frictions were not provisioned. Our contributions motivate further study of human-AI behavioral interaction to inform more effective and appropriate LLM use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google