Creativity and Visual Communication from Machine to Musician: Sharing a Score through a Robotic Camera

要約

この論文では、「Guided Harmony」音楽ゲーム内にロボット カメラを実装することにより、ビジュアル コミュニケーションと音楽インタラクションの統合を検討します。
私たちは人間の音楽家とロボットシステムの間の共同創造的な行動を調査することを目的としています。
私たちの研究では、即興ゲーム作品などの既存の方法論を調査し、PTZ カメラを使用したロボットの参加を含むようにこれらの概念を拡張します。
このロボット システムはミュージシャンからの非言語的な合図を解釈して応答し、協調的で適応的な音楽体験を生み出します。
この最初のケーススタディは、直感的なビジュアルコミュニケーションチャネルの重要性を強調しています。
また、人間と機械の共創性をさらに理解するためのビジュアルキューツールキットやデータ収集方法を改良するためのパラメーターなど、将来の研究の方向性も提案します。
私たちの発見は、特に音楽環境において、人間の創造性を強化する機械知能についてのより広範な理解に貢献します。

要約(オリジナル)

This paper explores the integration of visual communication and musical interaction by implementing a robotic camera within a ‘Guided Harmony’ musical game. We aim to examine co-creative behaviors between human musicians and robotic systems. Our research explores existing methodologies like improvisational game pieces and extends these concepts to include robotic participation using a PTZ camera. The robotic system interprets and responds to nonverbal cues from musicians, creating a collaborative and adaptive musical experience. This initial case study underscores the importance of intuitive visual communication channels. We also propose future research directions, including parameters for refining the visual cue toolkit and data collection methods to understand human-machine co-creativity further. Our findings contribute to the broader understanding of machine intelligence in augmenting human creativity, particularly in musical settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google