Sim2Real Transfer for Audio-Visual Navigation with Frequency-Adaptive Acoustic Field Prediction

要約

Sim2real 転送は、シミュレーションでロボット タスクをエンドツーエンドで学習することに成功したため、最近ますます注目を集めています。
視覚ベースのナビゲーション ポリシーの移行では多くの進歩が見られましたが、オーディオビジュアル ナビゲーションのための既存の sim2real 戦略は、音響ギャップを測定せずに経験的にデータ拡張を実行します。
サウンドは光とは異なり、より広い周波数にまたがるため、sim2real には別のソリューションが必要です。
我々は、sim2real を音場予測 (AFP) とウェイポイント ナビゲーションに分解することで、オーディオビジュアル ナビゲーションのための sim2real の最初の処理を提案します。
まず、SoundSpaces シミュレーターで設計の選択を検証し、Continuous AudioGoal ナビゲーション ベンチマークの改善を示します。
次に、特定の周波数サブバンドのみを入力として受け取る AFP モデルをトレーニングすることで、現実世界のデータを収集し、シミュレーションと現実世界のスペクトルの違いを測定します。
さらに、測定されたスペクトルの差と受信音声のエネルギー分布の両方に基づいて、予測に最適な周波数帯域をインテリジェントに選択する周波数適応戦略を提案します。これにより、実際のデータのパフォーマンスが向上します。
最後に、実際のロボット プラットフォームを構築し、転送されたポリシーが音響オブジェクトに正常に移動できることを示します。
この研究は、完全にシミュレーションから見て、聞いて、行動できるインテリジェント エージェントを構築し、それらを現実世界に転送できる可能性を示しています。

要約(オリジナル)

Sim2real transfer has received increasing attention lately due to the success of learning robotic tasks in simulation end-to-end. While there has been a lot of progress in transferring vision-based navigation policies, the existing sim2real strategy for audio-visual navigation performs data augmentation empirically without measuring the acoustic gap. The sound differs from light in that it spans across much wider frequencies and thus requires a different solution for sim2real. We propose the first treatment of sim2real for audio-visual navigation by disentangling it into acoustic field prediction (AFP) and waypoint navigation. We first validate our design choice in the SoundSpaces simulator and show improvement on the Continuous AudioGoal navigation benchmark. We then collect real-world data to measure the spectral difference between the simulation and the real world by training AFP models that only take a specific frequency subband as input. We further propose a frequency-adaptive strategy that intelligently selects the best frequency band for prediction based on both the measured spectral difference and the energy distribution of the received audio, which improves the performance on the real data. Lastly, we build a real robot platform and show that the transferred policy can successfully navigate to sounding objects. This work demonstrates the potential of building intelligent agents that can see, hear, and act entirely from simulation, and transferring them to the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google