Choice Over Control: How Users Write with Large Language Models using Diegetic and Non-Diegetic Prompting

要約

我々は、大規模言語モデル（LLM）のプロンプトについて、(1) ダイジェティックプロンプト（物語の一部、例えば「昔々、私は狐を見た…」）、(2) ノンダイジェティックプロンプト（外部、例えば「狐の冒険について書きなさい」）を区別する概念的視点を提案します。このレンズを使って、Prolific上の129人のクラウドワーカーが、異なるユーザーインターフェース（1対3の提案、非ディジェティックプロンプトの有無、GPT-3で実装）で短文を書く方法を研究する。インターフェイスが複数の提案を提供し、非文字入力のプロンプトのオプションを提供した場合、参加者は非文字入力のプロンプトでコントロールするよりも、複数の提案から選ぶことを好んだ。参加者が非音声的なプロンプトを提供する場合、それはインスピレーション、トピック、または事実を求めるものであった。特に、単一の提案は、ディジェティック情報と非ディジェティック情報の両方でガイドされた。本研究は、(1)非ジェクティブプロンプトを書くには努力が必要であること、(2)人はダイジェクティブプロンプトと非ジェクティブプロンプトを組み合わせること、(3)ドラフト（＝ダイジェクティブ情報）と提案タイミングを使ってLLMを戦略的に誘導することを明らかにして、生成モデルによる人間-AI対話に貢献する。

要約(オリジナル)

We propose a conceptual perspective on prompts for Large Language Models (LLMs) that distinguishes between (1) diegetic prompts (part of the narrative, e.g. ‘Once upon a time, I saw a fox…’), and (2) non-diegetic prompts (external, e.g. ‘Write about the adventures of the fox.’). With this lens, we study how 129 crowd workers on Prolific write short texts with different user interfaces (1 vs 3 suggestions, with/out non-diegetic prompts; implemented with GPT-3): When the interface offered multiple suggestions and provided an option for non-diegetic prompting, participants preferred choosing from multiple suggestions over controlling them via non-diegetic prompts. When participants provided non-diegetic prompts it was to ask for inspiration, topics or facts. Single suggestions in particular were guided both with diegetic and non-diegetic information. This work informs human-AI interaction with generative models by revealing that (1) writing non-diegetic prompts requires effort, (2) people combine diegetic and non-diegetic prompting, and (3) they use their draft (i.e. diegetic information) and suggestion timing to strategically guide LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL