Creativity Support in the Age of Large Language Models: An Empirical Study Involving Emerging Writers

要約

指示に従い、会話型の対話を行うことができる大規模言語モデル (LLM) の開発により、さまざまなサポート ツール全体での LLM の利用に対する関心が高まりました。
私たちは、実証的なユーザー調査 (n=30) を通じて、プロのライターを支援する最新の LLM の有用性を調査します。
当社の共同執筆インターフェイスの設計は、執筆を、計画、翻訳、レビューといった非線形の認知活動を含む目標指向の思考プロセスとして捉える、執筆の認知プロセス モデルに基づいています。
参加者は、執筆協力者としての LLM の可能性と落とし穴についてのフィードバックを提供するために、完了後のアンケートを提出するよう求められます。
作家と LLM の相互作用を分析したところ、作家は 3 種類の認知活動すべてにわたって LLM の助けを求めている一方で、翻訳とレビューでは LLM の方が役立つことがわかりました。
インタラクションと調査回答の両方を分析した結果は、LLM を使用したクリエイティブライティング支援における将来の研究の方向性を浮き彫りにしています。

要約(オリジナル)

The development of large language models (LLMs) capable of following instructions and engaging in conversational interactions sparked increased interest in their utilization across various support tools. We investigate the utility of modern LLMs in assisting professional writers via an empirical user study (n=30). The design of our collaborative writing interface is grounded in the cognitive process model of writing that views writing as a goal-oriented thinking process encompassing non-linear cognitive activities: planning, translating, and reviewing. Participants are asked to submit a post-completion survey to provide feedback on the potential and pitfalls of LLMs as writing collaborators. Upon analyzing the writer-LLM interactions, we find that while writers seek LLM’s help across all three types of cognitive activities, they find LLMs more helpful in translation and reviewing. Our findings from analyzing both the interactions and the survey responses highlight future research directions in creative writing assistance using LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google