SoundSpaces 2.0: A Simulation Platform for Visual-Acoustic Learning

要約

3D 環境向けのオンザフライ ジオメトリベースのオーディオ レンダリングのプラットフォームである SoundSpaces 2.0 を導入します。
現実世界の環境の 3D メッシュが与えられると、SoundSpaces は任意のマイク位置からキャプチャされた任意のサウンドに対して非常にリアルな音響を生成できます。
既存の 3D ビジュアル アセットと共に、オーディオ ビジュアル ナビゲーション、マッピング、音源の位置特定と分離、音響マッチングなど、一連のオーディオ ビジュアル研究タスクをサポートします。
既存のリソースと比較して、SoundSpaces 2.0 には、継続的な空間サンプリング、新しい環境への一般化、および構成可能なマイクと素材のプロパティを許可するという利点があります。
私たちの知る限り、これは具現化された学習に使用するのに十分な速さでありながら、高い忠実度とリアリズムを提供する最初のジオメトリベースの音響シミュレーションです。
シミュレーターのプロパティを紹介し、実際のオーディオ測定に対するパフォーマンスのベンチマークを行います。
さらに、エンボディド ナビゲーションと遠方場自動音声認識の 2 つのダウンストリーム タスクを示し、後者の sim2real パフォーマンスを強調します。
SoundSpaces 2.0 は、見ることも聞くこともできる知覚システムの幅広い研究を促進するために公開されています。

要約(オリジナル)

We introduce SoundSpaces 2.0, a platform for on-the-fly geometry-based audio rendering for 3D environments. Given a 3D mesh of a real-world environment, SoundSpaces can generate highly realistic acoustics for arbitrary sounds captured from arbitrary microphone locations. Together with existing 3D visual assets, it supports an array of audio-visual research tasks, such as audio-visual navigation, mapping, source localization and separation, and acoustic matching. Compared to existing resources, SoundSpaces 2.0 has the advantages of allowing continuous spatial sampling, generalization to novel environments, and configurable microphone and material properties. To our knowledge, this is the first geometry-based acoustic simulation that offers high fidelity and realism while also being fast enough to use for embodied learning. We showcase the simulator’s properties and benchmark its performance against real-world audio measurements. In addition, we demonstrate two downstream tasks — embodied navigation and far-field automatic speech recognition — and highlight sim2real performance for the latter. SoundSpaces 2.0 is publicly available to facilitate wider research for perceptual systems that can both see and hear.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google