Single-Channel Distance-Based Source Separation for Mobile GPU in Outdoor and Indoor Environments

要約

この研究は、屋外環境における距離ベースの音源分離 (DSS) を探求する重要性を強調しています。
主に屋内環境に焦点を当てた既存の研究とは異なり、提案されたモデルは屋外音源の固有の特性を捉えるように設計されています。
これには、2 段階の配座異性体ブロック、線形関係認識セルフアテンション (RSA)、TensorFlow Lite GPU デリゲートなどの高度な技術が組み込まれています。
線形 RSA は二次 RSA ほど物理的キューを明示的にキャプチャしない可能性がありますが、線形 RSA はモデルのコンテキスト認識を強化し、屋外および屋内環境における物理的キューの理解を必要とする DSS でのパフォーマンスの向上につながります。
実験結果は、提案されたモデルが既存のアプローチの制限を克服し、モバイル デバイスでのエネルギー効率とリアルタイム推論速度を大幅に向上させることを実証しました。

要約(オリジナル)

This study emphasizes the significance of exploring distance-based source separation (DSS) in outdoor environments. Unlike existing studies that primarily focus on indoor settings, the proposed model is designed to capture the unique characteristics of outdoor audio sources. It incorporates advanced techniques, including a two-stage conformer block, a linear relation-aware self-attention (RSA), and a TensorFlow Lite GPU delegate. While the linear RSA may not capture physical cues as explicitly as the quadratic RSA, the linear RSA enhances the model’s context awareness, leading to improved performance on the DSS that requires an understanding of physical cues in outdoor and indoor environments. The experimental results demonstrated that the proposed model overcomes the limitations of existing approaches and considerably enhances energy efficiency and real-time inference speed on mobile devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google