SELD-Mamba: Selective State-Space Model for Sound Event Localization and Detection with Source Distance Estimation

要約

サウンド イベントの位置特定と検出 (SELD) タスクでは、Transformer ベースのモデルが優れた機能を実証しました。
ただし、Transformer の自己注意メカニズムの 2 次の複雑さにより、計算効率が低下します。
この論文では、選択的状態空間モデルである Mamba を利用する、SELD-Mamba と呼ばれる SELD 用のネットワーク アーキテクチャを提案します。
私たちは基本的なフレームワークとして Event-Independent Network V2 (EINV2) を採用し、その Conformer ブロックを双方向 Mamba ブロックに置き換えて、計算効率を維持しながらより広範囲のコンテキスト情報を取得します。
さらに、2 段階のトレーニング方法を実装します。第 1 段階では音声イベント検出 (SED) と到来方向 (DoA) の推定損失に焦点を当て、第 2 段階では音源距離推定 (SDE) の損失を再導入します。
2024 DCASE Challenge Task3 データセットに関する実験結果は、SELD の選択的状態空間モデルの有効性を実証し、SELD のパフォーマンス向上における 2 段階トレーニング アプローチの利点を強調しています。

要約(オリジナル)

In the Sound Event Localization and Detection (SELD) task, Transformer-based models have demonstrated impressive capabilities. However, the quadratic complexity of the Transformer’s self-attention mechanism results in computational inefficiencies. In this paper, we propose a network architecture for SELD called SELD-Mamba, which utilizes Mamba, a selective state-space model. We adopt the Event-Independent Network V2 (EINV2) as the foundational framework and replace its Conformer blocks with bidirectional Mamba blocks to capture a broader range of contextual information while maintaining computational efficiency. Additionally, we implement a two-stage training method, with the first stage focusing on Sound Event Detection (SED) and Direction of Arrival (DoA) estimation losses, and the second stage reintroducing the Source Distance Estimation (SDE) loss. Our experimental results on the 2024 DCASE Challenge Task3 dataset demonstrate the effectiveness of the selective state-space model in SELD and highlight the benefits of the two-stage training approach in enhancing SELD performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google