Separate This, and All of these Things Around It: Music Source Separation via Hyperellipsoidal Queries

要約

音楽ソースの分離は、音楽のオーディオ混合物から1つ以上の構成要素またはその複合材料を抽出するオーディオからオーディオへの検索タスクです。
これらの構成要素のそれぞれは、しばしば文献の「幹」と呼ばれます。
歴史的に、音楽源の分離はSTEMベースのパラダイムによって支配されており、最も最先端のシステムは、単一系抽出モデルのコレクション、または固定された、固定された困難な結合システムのいずれかです。
サポートされているステムのセットを変更します。
したがって、データの可用性が限られていると限られたデータの可用性と組み合わされて、音楽ソースの分離の進歩は、主に「VDBO」のステムセットに限定されています：\ textIT {vocals}、\ textit {drum}、\ textit {bass}、およびcatch-all \
textit {その他}。
音楽ソースの分離における最近の研究は、固定系のパラダイムに挑戦し始めました。このターゲットタイプのサウンドをモデルに追加のクエリ入力として指定できる限り、あらゆる音楽サウンドを抽出できるモデルに向かって移動します。
このアイデアを\ textit {query-by-region}ソース分離システムに一般化し、サウンドソースの数やその中にどのサウンドクラスが含まれているかに関係なく、クエリに基づいてターゲットを指定します。
そうするために、ターゲット（場所）とその拡散の両方を指定するための直感的で簡単にパラメーション可能なアプローチを可能にするために、クエリとしてハイパーリプエイド領域を使用することを提案します。
MoisesDBデータセット上の提案されたシステムの評価により、シグナルと雑音の比率と検索指標の両方で提案されたシステムの最先端のパフォーマンスが実証されました。

要約(オリジナル)

Music source separation is an audio-to-audio retrieval task of extracting one or more constituent components, or composites thereof, from a musical audio mixture. Each of these constituent components is often referred to as a ‘stem’ in literature. Historically, music source separation has been dominated by a stem-based paradigm, leading to most state-of-the-art systems being either a collection of single-stem extraction models, or a tightly coupled system with a fixed, difficult-to-modify, set of supported stems. Combined with the limited data availability, advances in music source separation have thus been mostly limited to the ‘VDBO’ set of stems: \textit{vocals}, \textit{drum}, \textit{bass}, and the catch-all \textit{others}. Recent work in music source separation has begun to challenge the fixed-stem paradigm, moving towards models able to extract any musical sound as long as this target type of sound could be specified to the model as an additional query input. We generalize this idea to a \textit{query-by-region} source separation system, specifying the target based on the query regardless of how many sound sources or which sound classes are contained within it. To do so, we propose the use of hyperellipsoidal regions as queries to allow for an intuitive yet easily parametrizable approach to specifying both the target (location) as well as its spread. Evaluation of the proposed system on the MoisesDB dataset demonstrated state-of-the-art performance of the proposed system both in terms of signal-to-noise ratios and retrieval metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google