Spiking Music: Audio Compression with Event Based Auto-encoders

要約

脳内のニューロンは、スパイクと呼ばれる時間厳守のイベントを通じて情報を伝達します。
スパイクのタイミングには豊富な情報が含まれていると考えられていますが、これをデジタル システムでどのように活用するかは明らかではありません。
イベントベースのエンコーディングがオーディオ圧縮に効率的であることを示します。
このイベントベースの表現を構築するために、ディープバイナリオートエンコーダを使用します。高いスパース性の圧力の下では、モデルはバイナリイベント行列がスパース行列格納アルゴリズムを使用してより効率的に格納される領域に入ります。
これを、ピアノ録音の大規模な MAESTRO データセットで、ベクトル量子化された自動エンコーダーに対してテストします。
当社の「Spiking Music 圧縮」アルゴリズムは、競合する圧縮/再構築のトレードオフを達成するだけでなく、エンコードされたイベントとピアノの打鍵の間の選択性と同期性が、スパース領域での監視なしで現れます。

要約(オリジナル)

Neurons in the brain communicate information via punctual events called spikes. The timing of spikes is thought to carry rich information, but it is not clear how to leverage this in digital systems. We demonstrate that event-based encoding is efficient for audio compression. To build this event-based representation we use a deep binary auto-encoder, and under high sparsity pressure, the model enters a regime where the binary event matrix is stored more efficiently with sparse matrix storage algorithms. We test this on the large MAESTRO dataset of piano recordings against vector quantized auto-encoders. Not only does our ‘Spiking Music compression’ algorithm achieve a competitive compression/reconstruction trade-off, but selectivity and synchrony between encoded events and piano key strikes emerge without supervision in the sparse regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google