From Consumption to Collaboration: Measuring Interaction Patterns to Augment Human Cognition in Open-Ended Tasks

要約

生成AI、特に大規模言語モデル（LLM）の台頭は、知識労働における認知プロセスを根本的に変えつつあり、人間の推論や問題解決能力への影響について重大な問題を提起している。これらのAIシステムがワークフローにますます統合されるにつれて、人間の思考を補強する前例のない機会を提供すると同時に、生成された答えを受動的に消費することによって認知が侵食される危険性もある。この緊張は、効果的な解決策には深い文脈の把握と領域知識の統合が必要な、オープンエンドなタスクにおいて特に顕著である。確立されたメトリクスのある構造化タスクとは異なり、このようなオープンエンドタスクにおける人間とLLMの相互作用の質を測定することは、グランドトゥルースの不在とソリューション開発の反復的性質のために、大きな課題を提起する。これに対処するために、我々は、認知活動モード（探索対搾取）と認知関与モード（建設的対有害）の2つの次元に沿って相互作用パターンを分析するフレームワークを提示する。このフレームワークは、LLMが人間の認知能力の代替ではなく、思考のための効果的なツールである場合を評価するための体系的な測定方法を提供し、人間の認知能力を保護・増強するAIシステムを開発するための理論的理解と実用的な指針を前進させる。

要約(オリジナル)

The rise of Generative AI, and Large Language Models (LLMs) in particular, is fundamentally changing cognitive processes in knowledge work, raising critical questions about their impact on human reasoning and problem-solving capabilities. As these AI systems become increasingly integrated into workflows, they offer unprecedented opportunities for augmenting human thinking while simultaneously risking cognitive erosion through passive consumption of generated answers. This tension is particularly pronounced in open-ended tasks, where effective solutions require deep contextualization and integration of domain knowledge. Unlike structured tasks with established metrics, measuring the quality of human-LLM interaction in such open-ended tasks poses significant challenges due to the absence of ground truth and the iterative nature of solution development. To address this, we present a framework that analyzes interaction patterns along two dimensions: cognitive activity mode (exploration vs. exploitation) and cognitive engagement mode (constructive vs. detrimental). This framework provides systematic measurements to evaluate when LLMs are effective tools for thought rather than substitutes for human cognition, advancing theoretical understanding and practical guidance for developing AI systems that protect and augment human cognitive capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL