要約
大規模な言語モデル(LLM)が複雑なライティングワークフローで使用されるため、ユーザーは多ターンインタラクションに従事し、ニーズに合わせて世代を操縦します。
出力を受動的に受け入れるのではなく、ユーザーはテキストを積極的に改良、探索、共同構築します。
私たちは、2人の人気AIアシスタント、Bing CopilotとWildChatとの野生でのタスクを書くことに従事するユーザーのために、この共同行動の大規模な分析を実施しています。
私たちの分析は、以前の作業で一般的な単純なタスク分類または満足度の推定を超えており、代わりにユーザーがセッションの過程でLLMと対話する方法を特徴付けます。
元のリクエストに従って、ユーザーがプロンプトでLLMと対話する方法について、プロトタイプの動作を特定します。
これらをプロトタイプのヒューマンアイコラボレーション行動(パス)と呼び、小さなパスグループがユーザーLLM相互作用に見られるバリエーションの大部分を説明していることがわかります。
これらのパスは、ユーザーが意図を改訂し、テキストを探索し、質問を提起し、スタイルを調整する、または新しいコンテンツの挿入に及びます。
次に、特定のライティングの意図とパスの間に統計的に有意な相関関係が見つかり、ユーザーの意図がコラボレーション行動をどのように形成するかを明らかにします。
LLMアライメントに関する調査結果の意味を議論することで最後に説明します。
要約(オリジナル)
As large language models (LLMs) are used in complex writing workflows, users engage in multi-turn interactions to steer generations to better fit their needs. Rather than passively accepting output, users actively refine, explore, and co-construct text. We conduct a large-scale analysis of this collaborative behavior for users engaged in writing tasks in the wild with two popular AI assistants, Bing Copilot and WildChat. Our analysis goes beyond simple task classification or satisfaction estimation common in prior work and instead characterizes how users interact with LLMs through the course of a session. We identify prototypical behaviors in how users interact with LLMs in prompts following their original request. We refer to these as Prototypical Human-AI Collaboration Behaviors (PATHs) and find that a small group of PATHs explain a majority of the variation seen in user-LLM interaction. These PATHs span users revising intents, exploring texts, posing questions, adjusting style or injecting new content. Next, we find statistically significant correlations between specific writing intents and PATHs, revealing how users’ intents shape their collaboration behaviors. We conclude by discussing the implications of our findings on LLM alignment.
arxiv情報
著者 | Sheshera Mysore,Debarati Das,Hancheng Cao,Bahareh Sarrafzadeh |
発行日 | 2025-05-23 16:04:18+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google