HyperGANStrument: Instrument Sound Synthesis and Editing with Pitch-Invariant Hypernetworks

要約

GANStrument は、ピッチ不変特徴抽出器とインスタンス調整技術で GAN を活用し、リアルな楽器音を合成する際に驚くべき能力を示しました。
再構成能力とピッチ精度をさらに向上させ、ユーザー提供のサウンドの編集可能性を高めるために、ワンショット サウンドを入力として、事前にトレーニングされた GANStrument ジェネレーターの重みを変調するピッチ不変ハイパーネットワークを導入する HyperGANStrument を提案します。
。
ハイパーネットワーク変調は、入力サウンドの再構築においてジェネレーターにフィードバックを提供します。
さらに、ハイパーネットワークの敵対的微調整スキームを利用して、ジェネレーターの再構成の忠実性と生成の多様性を向上させます。
実験結果は、提案されたモデルが GANStrument の生成機能を強化するだけでなく、合成サウンドの編集可能性も大幅に向上させることを示しています。
音声サンプルはオンライン デモ ページで入手できます。

要約(オリジナル)

GANStrument, exploiting GANs with a pitch-invariant feature extractor and instance conditioning technique, has shown remarkable capabilities in synthesizing realistic instrument sounds. To further improve the reconstruction ability and pitch accuracy to enhance the editability of user-provided sound, we propose HyperGANStrument, which introduces a pitch-invariant hypernetwork to modulate the weights of a pre-trained GANStrument generator, given a one-shot sound as input. The hypernetwork modulation provides feedback for the generator in the reconstruction of the input sound. In addition, we take advantage of an adversarial fine-tuning scheme for the hypernetwork to improve the reconstruction fidelity and generation diversity of the generator. Experimental results show that the proposed model not only enhances the generation capability of GANStrument but also significantly improves the editability of synthesized sounds. Audio examples are available at the online demo page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google