Brain2Music: Reconstructing Music from Human Brain Activity

要約

人間の脳の活動から経験を再構築するプロセスは、脳が世界をどのように解釈し表現するかについて独自のレンズを提供します。
この論文では、機能的磁気共鳴画像法 (fMRI) を使用してキャプチャされた脳活動から音楽を再構成する方法を紹介します。
私たちのアプローチでは、fMRI データから派生した埋め込みを条件とした音楽検索または MusicLM 音楽生成モデルを使用します。
生成された音楽は、ジャンル、楽器編成、雰囲気などの意味的特性に関して、人間の被験者が経験した音楽刺激に似ています。
私たちは、ボクセルごとのエンコーディング モデリング分析を通じて、MusicLM のさまざまなコンポーネントと脳の活動の間の関係を調査します。
さらに、音楽刺激の純粋なテキスト記述から得られる情報を脳のどの領域が表現しているのかについて議論します。
再構成された音楽の例を含む補足資料を https://google-research.github.io/seanet/brain2music で提供しています。

要約(オリジナル)

The process of reconstructing experiences from human brain activity offers a unique lens into how the brain interprets and represents the world. In this paper, we introduce a method for reconstructing music from brain activity, captured using functional magnetic resonance imaging (fMRI). Our approach uses either music retrieval or the MusicLM music generation model conditioned on embeddings derived from fMRI data. The generated music resembles the musical stimuli that human subjects experienced, with respect to semantic properties like genre, instrumentation, and mood. We investigate the relationship between different components of MusicLM and brain activity through a voxel-wise encoding modeling analysis. Furthermore, we discuss which brain regions represent information derived from purely textual descriptions of music stimuli. We provide supplementary material including examples of the reconstructed music at https://google-research.github.io/seanet/brain2music

arxiv情報

提供元, 利用サービス

arxiv.jp, Google