From Words to Music: A Study of Subword Tokenization Techniques in Symbolic Music Generation

要約

タイトル：音楽生成におけるサブワードトークン化技術の研究: 象徴的音楽においてバイトペアエンコーディング（BPE）などのサブワードトークン化技術を探求する

要約：サブワードトークン化はトランスフォーマーベースの自然言語処理タスクにおいて広く成功しており、トランスフォーマーモデルが象徴的音楽関連の研究でますます人気を集めるにつれて、象徴的音楽領域におけるサブワードトークン化の効果を調査することは必須である。この論文では、バイトペアエンコーディング（BPE）などのサブワードトークン化技術を探求し、生成された曲の全体的な構造に及ぼす影響を象徴的音楽生成に適用する。我々の実験は、シングルトラックメロディのみ、単一楽器のマルチトラック、およびマルチトラックおよびマルチインストルメントの3種類のMIDIデータセットに基づいて行われた。私たちは、楽曲トークナイゼーション手法にサブワードトークン化を適用し、同時により長い曲の生成を可能にし、構造的指標（SI）、ピッチクラスエントロピーなどの客観的指標に基づいて生成された音楽の全体的な構造を改善することができることを発見した。また、BPEとUnigramの2つのサブワードトークン化方法を比較し、両方の方法が一貫して改善をもたらすことが観察された。私たちの調査は、サブワードトークン化が象徴的音楽生成のための有望な技術であり、特にマルチトラックの曲などの複雑なデータを扱う場合に、音楽作曲に対する広範な影響を持つ可能性があることを示唆している。

要約(オリジナル)

Subword tokenization has been widely successful in text-based natural language processing (NLP) tasks with Transformer-based models. As Transformer models become increasingly popular in symbolic music-related studies, it is imperative to investigate the efficacy of subword tokenization in the symbolic music domain. In this paper, we explore subword tokenization techniques, such as byte-pair encoding (BPE), in symbolic music generation and its impact on the overall structure of generated songs. Our experiments are based on three types of MIDI datasets: single track-melody only, multi-track with a single instrument, and multi-track and multi-instrument. We apply subword tokenization on post-musical tokenization schemes and find that it enables the generation of longer songs at the same time and improves the overall structure of the generated music in terms of objective metrics like structure indicator (SI), Pitch Class Entropy, etc. We also compare two subword tokenization methods, BPE and Unigram, and observe that both methods lead to consistent improvements. Our study suggests that subword tokenization is a promising technique for symbolic music generation and may have broader implications for music composition, particularly in cases involving complex data such as multi-track songs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI