Estimating Musical Surprisal in Audio

要約

計算手法を使用して音楽の驚きの期待をモデル化する際に、自己回帰モデルからの 1 ステップ予測の情報内容 (IC) を象徴音楽における驚きの代用として使用することが提案されています。
適切に選択されたモデルを使用すると、音楽イベントの IC は、音色やリズミカルな複雑さを含む、驚きや複雑さの側面に対する人間の認識と相関することが示されています。
この研究では、同様の方法論を音楽オーディオに適用できるかどうかを調査します。
自己回帰 Transformer モデルをトレーニングして、事前トレーニングされたオートエンコーダー ネットワークの圧縮された潜在的なオーディオ表現を予測します。
繰り返しによるICの減少を推定することで学習効果を検証します。
音楽セグメント タイプ (A または B など) の平均 IC を調査したところ、曲の後半に現れるセグメント タイプの方が、平均して初期のものよりも高い IC を持っていることがわかりました。
私たちは、IC とオーディオや音楽の特徴との関係を調査し、それが音色の変化やラウドネス、そして程度は低いですが、オーディオや音楽の特徴に関連する不協和音、リズムの複雑さ、オンセット密度と相関していることを発見しました。
最後に、IC が歌に対する脳波反応を予測して、音楽における人間の驚きをモデル化できるかどうかを調査します。
このメソッドのコードは github.com/sonycslparis/audioic で提供されています。

要約(オリジナル)

In modeling musical surprisal expectancy with computational methods, it has been proposed to use the information content (IC) of one-step predictions from an autoregressive model as a proxy for surprisal in symbolic music. With an appropriately chosen model, the IC of musical events has been shown to correlate with human perception of surprise and complexity aspects, including tonal and rhythmic complexity. This work investigates whether an analogous methodology can be applied to music audio. We train an autoregressive Transformer model to predict compressed latent audio representations of a pretrained autoencoder network. We verify learning effects by estimating the decrease in IC with repetitions. We investigate the mean IC of musical segment types (e.g., A or B) and find that segment types appearing later in a piece have a higher IC than earlier ones on average. We investigate the IC’s relation to audio and musical features and find it correlated with timbral variations and loudness and, to a lesser extent, dissonance, rhythmic complexity, and onset density related to audio and musical features. Finally, we investigate if the IC can predict EEG responses to songs and thus model humans’ surprisal in music. We provide code for our method on github.com/sonycslparis/audioic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google