ChordSync: Conformer-Based Alignment of Chord Annotations to Music Audio

要約

西洋音楽の伝統において、和音は和声の主要な構成要素であり、音楽の基本的な側面である。和音は音楽情報検索（MIR）タスクのいくつかにとって重要であるにもかかわらず、和音注釈付きオーディオデータセットは限られており、より多様性が必要である。これらのリソースを改善する1つの方法は、オンラインで利用可能な多数の和音注釈を活用することであるが、そのためにはそれらを音楽オーディオとアライメントする必要がある。しかし、既存のオーディオと楽譜のアライメント技術は、一般的にDTW（Dynamic Time Warping）に依存しており、正確な同期のために弱いアライメントデータを必要とするため、この課題に対処できない。本論文では、弱いアライメントを必要としない、コード注釈とオーディオをシームレスにアライメントするように設計された、新しいコンフォーマベースのモデルであるChordSyncを紹介する。また、事前に訓練されたモデルとユーザーフレンドリーなライブラリを提供し、ユーザーがコード注釈とオーディオトラックを簡単に同期できるようにする。このように、ChordSyncは、特にオーディオのコード推定において、MIRのためにクラウドソースされたコードデータを利用する機会を創出し、それによって新しいデータセットの生成を促進する。さらに、本システムは音楽教育にも活用でき、正確に整列された注釈を提供することで音楽学習体験を向上させ、学習者が同期された音楽練習に取り組むことを可能にする。

要約(オリジナル)

In the Western music tradition, chords are the main constituent components of harmony, a fundamental dimension of music. Despite its relevance for several Music Information Retrieval (MIR) tasks, chord-annotated audio datasets are limited and need more diversity. One way to improve those resources is to leverage the large number of chord annotations available online, but this requires aligning them with music audio. However, existing audio-to-score alignment techniques, which typically rely on Dynamic Time Warping (DTW), fail to address this challenge, as they require weakly aligned data for precise synchronisation. In this paper, we introduce ChordSync, a novel conformer-based model designed to seamlessly align chord annotations with audio, eliminating the need for weak alignment. We also provide a pre-trained model and a user-friendly library, enabling users to synchronise chord annotations with audio tracks effortlessly. In this way, ChordSync creates opportunities for harnessing crowd-sourced chord data for MIR, especially in audio chord estimation, thereby facilitating the generation of novel datasets. Additionally, our system extends its utility to music education, enhancing music learning experiences by providing accurately aligned annotations, thus enabling learners to engage in synchronised musical practices.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL