Real-time Timbre Remapping with Differentiable DSP

要約

音色は、様々な音楽的文脈における主要な表現方法である。しかし、一般的なオーディオ主導のシンセシス手法は、ピッチとラウドネスのエンベロープに頼ることが多く、入力からの音色表現を効果的に平坦化しています。私たちのアプローチは、音色アナロジーの概念を利用し、入力信号からの音色表現をシンセサイザーのコントロールにマッピングする方法を研究します。微分可能なデジタル信号処理を活用することで、私たちの手法は、新しい特徴差損失を通して、シンセサイザーのパラメーターの直接最適化を容易にします。この損失関数は、音楽イベント間の相対的な音色の違いを学習するように設計されており、フレーズ内の段階的な音色の変調の微妙さを優先させ、音色空間における意味のある変換を可能にする。音色の表現が中心であるスネアドラムの演奏をケーススタディとして用い、アコースティックなスネアドラムから、ローランドTR-808をモデルにした微分可能なシンセサイザーへのリアルタイムの音色の再マッピングを実証する。

要約(オリジナル)

Timbre is a primary mode of expression in diverse musical contexts. However, prevalent audio-driven synthesis methods predominantly rely on pitch and loudness envelopes, effectively flattening timbral expression from the input. Our approach draws on the concept of timbre analogies and investigates how timbral expression from an input signal can be mapped onto controls for a synthesizer. Leveraging differentiable digital signal processing, our method facilitates direct optimization of synthesizer parameters through a novel feature difference loss. This loss function, designed to learn relative timbral differences between musical events, prioritizes the subtleties of graded timbre modulations within phrases, allowing for meaningful translations in a timbre space. Using snare drum performances as a case study, where timbral expression is central, we demonstrate real-time timbre remapping from acoustic snare drums to a differentiable synthesizer modeled after the Roland TR-808.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL