Robot Synesthesia: A Sound and Emotion Guided AI Painter

要約

絵が千の言葉を描くなら、音は百万の言葉を発するかもしれません。
最近のロボットによるペインティングと画像合成の手法は、テキスト入力からビジュアルを生成する点で進歩を遂げましたが、音声を画像に変換する方法はほとんど研究されていません。
一般に、サウンドベースのインターフェイスと音響インタラクションは、ユーザーのアクセシビリティとコントロールを拡張し、複雑な感情と現実世界のダイナミックな側面を伝える手段を提供する可能性を秘めています。
この論文では、ここではロボット共感覚として知られている、音と音声を使用してロボットによる塗装プロセスをガイドするアプローチを提案します。
一般的な音については、シミュレートされた絵画と入力音を同じ潜在空間にエンコードします。
音声については、音声を文字起こしされたテキストと音声のトーンに分離します。
テキストを使って内容をコントロールするのに対し、トーンから感情を推定して絵の雰囲気を導きます。
私たちのアプローチは、FRIDA の既存のテキストやスタイルなどの入力モダリティに音声と音声を追加するロボット ペインティング フレームワークである FRIDA と完全に統合されています。
2 つの調査では、参加者は、特定の絵を生成するために使用された感情や自然音を、ランダムな偶然の 2 倍以上の確率で正しく推測できました。
音声ガイドによる画像操作と音楽ガイドによる絵画について、結果を定性的に議論します。

要約(オリジナル)

If a picture paints a thousand words, sound may voice a million. While recent robotic painting and image synthesis methods have achieved progress in generating visuals from text inputs, the translation of sound into images is vastly unexplored. Generally, sound-based interfaces and sonic interactions have the potential to expand accessibility and control for the user and provide a means to convey complex emotions and the dynamic aspects of the real world. In this paper, we propose an approach for using sound and speech to guide a robotic painting process, known here as robot synesthesia. For general sound, we encode the simulated paintings and input sounds into the same latent space. For speech, we decouple speech into its transcribed text and the tone of the speech. Whereas we use the text to control the content, we estimate the emotions from the tone to guide the mood of the painting. Our approach has been fully integrated with FRIDA, a robotic painting framework, adding sound and speech to FRIDA’s existing input modalities, such as text and style. In two surveys, participants were able to correctly guess the emotion or natural sound used to generate a given painting more than twice as likely as random chance. On our sound-guided image manipulation and music-guided paintings, we discuss the results qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google