Byte Pair Encoding for Symbolic Music

要約

深層学習で使用される場合、シンボリック音楽モダリティは言語モデル アーキテクチャと組み合わせられることがよくあります。
そのためには、音楽をトークン化する、つまり一連の個別のトークンに変換する必要があります。
音楽は複数の属性を持つ同時トラックや同時音符で構成できるため、これはさまざまなアプローチで実現できます。
これまで提案されているトークン化は、音符の属性と時間イベントを記述するトークンの小さな語彙に依存しており、その結果、トークン シーケンスがかなり長くなり、言語モデルの埋め込み空間が最適に利用されません。
最近の研究では、エンベディングをマージしたりトークンを結合したりすることで、シーケンス全体の長さを短縮することに重点が置かれています。
この論文では、自然言語に広く使用されている圧縮技術であるバイト ペア エンコーディングが、語彙サイズを増加させながらシーケンス長を大幅に短縮することを示します。
そうすることで、より表現力豊かなトークンを使用してそのようなモデルの埋め込み機能を活用し、生成および分類タスクでより良い結果とより高速な推論の両方をもたらします。
ソース コードは、関連 Web サイトとともに Github で共有されます。
最後に、BPE は MidiTok に直接実装されているため、読者はこの方法のメリットを簡単に活用できます。

要約(オリジナル)

When used with deep learning, the symbolic music modality is often coupled with language model architectures. To do so, the music needs to be tokenized, i.e. converted into a sequence of discrete tokens. This can be achieved by different approaches, as music can be composed of simultaneous tracks, of simultaneous notes with several attributes. Until now, the proposed tokenizations rely on small vocabularies of tokens describing the note attributes and time events, resulting in fairly long token sequences, and a sub-optimal use of the embedding space of language models. Recent research has put efforts on reducing the overall sequence length by merging embeddings or combining tokens. In this paper, we show that Byte Pair Encoding, a compression technique widely used for natural language, significantly decreases the sequence length while increasing the vocabulary size. By doing so, we leverage the embedding capabilities of such models with more expressive tokens, resulting in both better results and faster inference in generation and classification tasks. The source code is shared on Github, along with a companion website. Finally, BPE is directly implemented in MidiTok, allowing the reader to easily benefit from this method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google