Understanding Learner-LLM Chatbot Interactions and the Impact of Prompting Guidelines

要約

大規模な言語モデル（LLMS）は、AIを搭載したチャットボットとの自然言語ベースのコミュニケーションを可能にすることにより、ヒューマンコンピューターの相互作用を変換しました。
これらのモデルは、直感的でユーザーフレンドリーになるように設計されており、ユーザーは最小限の労力でリクエストを明確にすることができます。
しかし、そのアクセシビリティにもかかわらず、研究は、ユーザーが効果的なプロンプトに苦労していることが多く、非効率的な反応をもたらすことを明らかにしています。
既存の研究では、あいまいまたは構造化されていないプロンプトを解釈する際のLLMの制限と、ユーザーが正確なクエリを作成する際に直面する困難の両方を強調しています。
この研究では、参加者が効果的なプロンプトに関する構造化されたガイダンスを受け取る教育実験を通じて、学習者とAIの相互作用を調査します。
3種類のプロンプトガイドラインを紹介して比較します。構造化された方法論と2つのベースラインアプローチを通じて開発されたタスク固有のフレームワークです。
ユーザーの動作を評価し、有効性を促すために、107人のユーザーからの642の対話のデータセットを分析します。
LLM相互作用分析のための拡張された実用的な注釈スキーマであるVon Neumidasを使用して、一般的なプロンプトエラーを分類し、繰り返しの行動パターンを特定します。
次に、ユーザーの行動の変化、戦略の促進の順守、およびAI生成された応答の全体的な品質を調べることにより、さまざまなガイドラインの影響を評価します。
私たちの調査結果は、ユーザーがLLMSにどのように関与するか、およびAIアシストコミュニケーションを強化する際の構造化された促進ガイダンスの役割をより深く理解しています。
さまざまな指導フレームワークを比較することにより、AIの相互作用のユーザーコンピテンシーを改善するためのより効果的なアプローチに関する洞察を提供し、AIリテラシー、チャットボットの使いやすさ、より応答性の高いAIシステムの設計に影響を与えます。

要約(オリジナル)

Large Language Models (LLMs) have transformed human-computer interaction by enabling natural language-based communication with AI-powered chatbots. These models are designed to be intuitive and user-friendly, allowing users to articulate requests with minimal effort. However, despite their accessibility, studies reveal that users often struggle with effective prompting, resulting in inefficient responses. Existing research has highlighted both the limitations of LLMs in interpreting vague or poorly structured prompts and the difficulties users face in crafting precise queries. This study investigates learner-AI interactions through an educational experiment in which participants receive structured guidance on effective prompting. We introduce and compare three types of prompting guidelines: a task-specific framework developed through a structured methodology and two baseline approaches. To assess user behavior and prompting efficacy, we analyze a dataset of 642 interactions from 107 users. Using Von NeuMidas, an extended pragmatic annotation schema for LLM interaction analysis, we categorize common prompting errors and identify recurring behavioral patterns. We then evaluate the impact of different guidelines by examining changes in user behavior, adherence to prompting strategies, and the overall quality of AI-generated responses. Our findings provide a deeper understanding of how users engage with LLMs and the role of structured prompting guidance in enhancing AI-assisted communication. By comparing different instructional frameworks, we offer insights into more effective approaches for improving user competency in AI interactions, with implications for AI literacy, chatbot usability, and the design of more responsive AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google