VTutor: An Open-Source SDK for Generative AI-Powered Animated Pedagogical Agents with Multi-Media Output

要約

大規模な言語モデル（LLMS）の急速な進化は、ヒューマンコンピューターの相互作用（HCI）を変換しましたが、LLMとの相互作用は現在主にテキストベースの相互作用に焦点を当てていますが、他のマルチモデルアプローチは未調査のままです。
このペーパーでは、生成AIと高度なアニメーションテクノロジーを組み合わせたオープンソースソフトウェア開発キット（SDK）であるVtutorを紹介し、Human-AIマルチメディアの相互作用に魅力的で適応性のある現実的なAPAを作成します。
Vtutorは、リアルタイムのパーソナライズされたフィードバック、自然な音声アライメントのための高度なリップ同期、およびシームレスなWeb統合のためのWebGLレンダリングのためにLLMを活用します。
さまざまな2Dおよび3DキャラクターモデルをサポートするVtutorは、研究者と開発者が感情的に共鳴する、文脈的に適応性のある学習エージェントを設計できるようにします。
このツールキットは、教育における信頼できるAIの原則を促進しながら、学習者のエンゲージメント、フィードバック受容性、および人間との相互作用を強化します。
Vtutorは、次世代APAの新しい基準を設定し、意味のある没入感のある人間との相互作用体験を促進するためのアクセス可能でスケーラブルなソリューションを提供します。
Vtutorプロジェクトはオープンソースであり、コミュニティ主導の貢献とショーケースを歓迎します。

要約(オリジナル)

The rapid evolution of large language models (LLMs) has transformed human-computer interaction (HCI), but the interaction with LLMs is currently mainly focused on text-based interactions, while other multi-model approaches remain under-explored. This paper introduces VTutor, an open-source Software Development Kit (SDK) that combines generative AI with advanced animation technologies to create engaging, adaptable, and realistic APAs for human-AI multi-media interactions. VTutor leverages LLMs for real-time personalized feedback, advanced lip synchronization for natural speech alignment, and WebGL rendering for seamless web integration. Supporting various 2D and 3D character models, VTutor enables researchers and developers to design emotionally resonant, contextually adaptive learning agents. This toolkit enhances learner engagement, feedback receptivity, and human-AI interaction while promoting trustworthy AI principles in education. VTutor sets a new standard for next-generation APAs, offering an accessible, scalable solution for fostering meaningful and immersive human-AI interaction experiences. The VTutor project is open-sourced and welcomes community-driven contributions and showcases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google