Learning to Prompt in the Classroom to Understand AI Limits: A pilot study

要約

人工知能（AI）の進歩は、健康や気候といった差し迫った社会問題に取り組む上で大きな可能性を秘めている。大規模言語モデル（LLM）とChatGPTのような派生チャットボットは、AIシステムの自然言語処理能力を高度に向上させ、構造化されていない前例のない量のデータを処理できるようになった。しかし、AIの手法が（例えば健康や遺伝学において）目覚ましい貢献を示しているにもかかわらず、その後の興奮は否定的な感情につながった。このような感情の主な要因は、LLMが幻覚や推論上の制約といった限界を無視し、領域全体にわたって難なく解決策を提供できるという誤解を招くような認識である。AIの誤りを認めることは、LLMが生成する可能性のある誤った提案に対する独断的な過信の影響に対処するために極めて重要である。同時に、AIに対する恐怖心やその他の否定的な態度を減らすこともできる。そのためには、LLMの制約や効果的な使用法、すなわちプロンプト戦略について一般大衆を教育する包括的なAIリテラシー介入が必要である。この目的のため、21人の生徒を対象に高校で試験的な教育介入が行われた。これは、知能、AI、LLMに関する高レベルの概念を提示し、ChatGPTが自然な教育的会話を作成し、確立されたプロンプト戦略を適用する実践的な演習を行いました。活動に対する高い評価、LLMとのインタラクションの質の向上、否定的なAI感情の減少、制限事項（特に信頼性の低さ、不満足な応答につながるコマンドの理解度の低さ、プレゼンテーションの柔軟性の低さ）の把握の向上など、心強い予備的結果が現れた。我々の目的は、AI受容の要因を探り、より統制された将来の研究のためにこのアプローチを改良することである。

要約(オリジナル)

Artificial intelligence’s (AI) progress holds great promise in tackling pressing societal concerns such as health and climate. Large Language Models (LLM) and the derived chatbots, like ChatGPT, have highly improved the natural language processing capabilities of AI systems allowing them to process an unprecedented amount of unstructured data. However, the ensuing excitement has led to negative sentiments, even as AI methods demonstrate remarkable contributions (e.g. in health and genetics). A key factor contributing to this sentiment is the misleading perception that LLMs can effortlessly provide solutions across domains, ignoring their limitations such as hallucinations and reasoning constraints. Acknowledging AI fallibility is crucial to address the impact of dogmatic overconfidence in possibly erroneous suggestions generated by LLMs. At the same time, it can reduce fear and other negative attitudes toward AI. This necessitates comprehensive AI literacy interventions that educate the public about LLM constraints and effective usage techniques, i.e prompting strategies. With this aim, a pilot educational intervention was performed in a high school with 21 students. It involved presenting high-level concepts about intelligence, AI, and LLMs, followed by practical exercises involving ChatGPT in creating natural educational conversations and applying established prompting strategies. Encouraging preliminary results emerged, including high appreciation of the activity, improved interaction quality with the LLM, reduced negative AI sentiments, and a better grasp of limitations, specifically unreliability, limited understanding of commands leading to unsatisfactory responses, and limited presentation flexibility. Our aim is to explore AI acceptance factors and refine this approach for more controlled future studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL