Instruct, Not Assist: LLM-based Multi-Turn Planning and Hierarchical Questioning for Socratic Code Debugging

要約

ソクラテス的質問は効果的な教育戦略であり、批判的思考と問題解決を促します。
大規模言語モデル (LLM) の会話機能は、スケーラブルなリアルタイムの生徒指導を提供する上で大きな可能性を示しています。
ただし、現在の LLM は解決策を直接提供することが多く、指導者としては非効率的です。
私たちは、新しい状態空間ベースの計画アルゴリズムによってガイドされる Instructor エージェントである TreeInstruct を使用して、コード デバッグ ドメインでこの問題に取り組みます。
TreeInstruct は、学生が自主的にエラーを特定して解決できるように、詳細な質問をします。
生徒の概念的知識と構文知識を推定して、生徒の回答と現在の知識状態に基づいて質問ツリーを動的に構築し、複数ターンの対話設定で独立した間違いと依存した間違いの両方に同時に効果的に対処します。
既存の単一バグのデバッグ ベンチマークの使用に加えて、150 のコーディングの問題、誤った解決策、バグ修正からなる、より困難なマルチバグ データセットを構築します。これらはすべて、専門家によって慎重に構築され、注釈が付けられています。
広範な評価により、両方のデータセットに対する TreeInstruct の最先端のパフォーマンスが示され、ベースラインよりも効果的なインストラクターであることが証明されました。
さらに、さまざまなスキル レベルの 5 人の学生を対象とした実際のケーススタディでは、最小限のターンと高度なソクラテス的質問で学生がコードを効率的にデバッグできるように導く TreeInstruct の能力をさらに実証しています。

要約(オリジナル)

Socratic questioning is an effective teaching strategy, encouraging critical thinking and problem-solving. The conversational capabilities of large language models (LLMs) show great potential for providing scalable, real-time student guidance. However, current LLMs often give away solutions directly, making them ineffective instructors. We tackle this issue in the code debugging domain with TreeInstruct, an Instructor agent guided by a novel state space-based planning algorithm. TreeInstruct asks probing questions to help students independently identify and resolve errors. It estimates a student’s conceptual and syntactical knowledge to dynamically construct a question tree based on their responses and current knowledge state, effectively addressing both independent and dependent mistakes concurrently in a multi-turn interaction setting. In addition to using an existing single-bug debugging benchmark, we construct a more challenging multi-bug dataset of 150 coding problems, incorrect solutions, and bug fixes — all carefully constructed and annotated by experts. Extensive evaluation shows TreeInstruct’s state-of-the-art performance on both datasets, proving it to be a more effective instructor than baselines. Furthermore, a real-world case study with five students of varying skill levels further demonstrates TreeInstruct’s ability to guide students to debug their code efficiently with minimal turns and highly Socratic questioning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google