Beat this! Accurate beat tracking without DBN postprocessing

要約

私たちは、多様な音楽範囲にわたる汎用性と高精度という 2 つの目的でビートとダウンビートを追跡するシステムを提案します。
ソロ楽器の録音、拍子記号が変化する曲、テンポの変化が激しいクラシック音楽など、複数のデータセットでトレーニングし、メーターに制約をもたらす一般的に使用されるダイナミック ベイジアン ネットワーク (DBN) の後処理を削除することで、汎用性を実現します。
そしてテンポ。
とりわけ高精度を実現するために、アノテーションのわずかな時間ずれに耐える損失関数と、周波数または時間にわたってトランスフォーマーによる交互の畳み込みを行うアーキテクチャを開発しました。
私たちのシステムは、DBN を使用していないにもかかわらず、F1 スコアにおいて現在の最先端を上回っています。
ただし、特に難しくて過小評価されているジャンルでは依然として失敗する可能性があり、継続性メトリクスのパフォーマンスが低下するため、モデル、コード、および前処理されたデータセットを公開し、これを克服するために他の人を招待します。

要約(オリジナル)

We propose a system for tracking beats and downbeats with two objectives: generality across a diverse music range, and high accuracy. We achieve generality by training on multiple datasets — including solo instrument recordings, pieces with time signature changes, and classical music with high tempo variations — and by removing the commonly used Dynamic Bayesian Network (DBN) postprocessing, which introduces constraints on the meter and tempo. For high accuracy, among other improvements, we develop a loss function tolerant to small time shifts of annotations, and an architecture alternating convolutions with transformers either over frequency or time. Our system surpasses the current state of the art in F1 score despite using no DBN. However, it can still fail, especially for difficult and underrepresented genres, and performs worse on continuity metrics, so we publish our model, code, and preprocessed datasets, and invite others to beat this.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google