From Text to Visuals: Using LLMs to Generate Math Diagrams with Vector Graphics

要約

大規模な言語モデル（LLMS）の進歩は、教師と学生の両方のサポートを自動化することにより、数学教育を強化するための新しい可能性を提供します。
以前の作業は数学の問題と高品質のディストラクタの生成に焦点を当てていますが、数学学習における視覚化の役割は未調査のままです。
図は数学的思考と問題解決に不可欠ですが、それらを手動で作成するには時間がかかり、ドメイン固有の専門知識が必要であり、スケーラビリティが制限されます。
LLMを使用してスケーラブルベクトルグラフィックス（SVG）を生成する最近の研究は、図作成を自動化するための有望なアプローチを示しています。
ピクセルベースの画像とは異なり、SVGはXMLを使用して幾何学的な図を表し、シームレスなスケーリングと適応性を可能にします。
Khan AcademyやIXLなどの教育プラットフォームは、すでにSVGを使用して数学の問題やヒントを表示しています。
この論文では、LLMSの使用を調査して、中間SVG表現を介してテキストのヒントに伴う数学関連の図を生成します。
（1）問題解決ヒントで数学図を自動的に生成し、その品質を評価する方法、（2）SVGが数学図の効果的な中間表現であるかどうか、（3）LLMSに正確なSVGベースの図を生成するために必要な促進戦略とフォーマットが必要なもの。
私たちの貢献には、数学ヒントのSVGベースの図を自動的に生成するタスクの定義、LLMプロンプトベースのパイプラインの開発、および図生成を改善するための重要な戦略の特定が含まれます。
さらに、さまざまなパイプラインのバリエーションを評価するために、視覚的な質問応答ベースの評価セットアップを紹介し、アブレーション研究を実施します。
数学図の作成を自動化することにより、問題解決と学習体験を向上させる正確で概念的に関連する視覚補助具を生徒と教師に提供することを目指しています。

要約(オリジナル)

Advances in large language models (LLMs) offer new possibilities for enhancing math education by automating support for both teachers and students. While prior work has focused on generating math problems and high-quality distractors, the role of visualization in math learning remains under-explored. Diagrams are essential for mathematical thinking and problem-solving, yet manually creating them is time-consuming and requires domain-specific expertise, limiting scalability. Recent research on using LLMs to generate Scalable Vector Graphics (SVG) presents a promising approach to automating diagram creation. Unlike pixel-based images, SVGs represent geometric figures using XML, allowing seamless scaling and adaptability. Educational platforms such as Khan Academy and IXL already use SVGs to display math problems and hints. In this paper, we explore the use of LLMs to generate math-related diagrams that accompany textual hints via intermediate SVG representations. We address three research questions: (1) how to automatically generate math diagrams in problem-solving hints and evaluate their quality, (2) whether SVG is an effective intermediate representation for math diagrams, and (3) what prompting strategies and formats are required for LLMs to generate accurate SVG-based diagrams. Our contributions include defining the task of automatically generating SVG-based diagrams for math hints, developing an LLM prompting-based pipeline, and identifying key strategies for improving diagram generation. Additionally, we introduce a Visual Question Answering-based evaluation setup and conduct ablation studies to assess different pipeline variations. By automating the math diagram creation, we aim to provide students and teachers with accurate, conceptually relevant visual aids that enhance problem-solving and learning experiences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google