The Art of Storytelling: Multi-Agent Generative AI for Dynamic Multimodal Narratives

要約

この論文では、子供向けのストーリーテリングを強化するために生成人工知能 (GenAI) を利用する教育ツールの概念を紹介します。
このシステムは、GenAI 主導のナラティブの共同作成、テキストから音声への変換、およびテキストからビデオへの生成を組み合わせて、学習者にとって魅力的な体験を生み出します。
共創プロセス、テキスト読み上げモデルを使用した物語の話し言葉への適応、およびテキスト読み上げ技術によるこれらの物語の文脈に関連したビジュアルへの変換について説明します。
私たちの評価には、生成されたストーリーの言語学、テキストから音声への変換の品質、生成されたビジュアルの精度が含まれます。

要約(オリジナル)

This paper introduces the concept of an education tool that utilizes Generative Artificial Intelligence (GenAI) to enhance storytelling for children. The system combines GenAI-driven narrative co-creation, text-to-speech conversion, and text-to-video generation to produce an engaging experience for learners. We describe the co-creation process, the adaptation of narratives into spoken words using text-to-speech models, and the transformation of these narratives into contextually relevant visuals through text-to-video technology. Our evaluation covers the linguistics of the generated stories, the text-to-speech conversion quality, and the accuracy of the generated visuals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google