Sonicverse: A Multisensory Simulation Platform for Embodied Household Agents that See and Hear

要約

シミュレーションにおける身体化エージェントの開発は、近年の重要な研究テーマとなっています。
刺激的な新しいタスク、アルゴリズム、ベンチマークがさまざまなシミュレーターで開発されています。
しかし、それらのほとんどは、私たち人間が複数の感覚で世界を認識するのに対し、静かな環境では聴覚障害者であると想定しています。
視覚と聴覚の両方が可能な家事エージェントをトレーニングするための、統合された視聴覚シミュレーションを備えた多感覚シミュレーション プラットフォームである Sonicverse を紹介します。
Sonicverse は、3D 環境でのリアルな連続オーディオ レンダリングをリアルタイムでモデル化します。
人間が音声でエージェントと対話できるようにする新しい視聴覚 VR インターフェイスと併せて、Sonicverse は視聴覚を必要とする一連の具体化された AI タスクを可能にします。
特にセマンティックオーディオビジュアルナビゲーションについては、最先端のパフォーマンスを実現する新しいマルチタスク学習モデルも提案します。
さらに、他のシミュレーターでは実現できなかった、シムからリアルへの転送による Sonicverse のリアリズムを実証します。Sonicverse で訓練されたエージェントは、現実世界の環境でオーディオビジュアル ナビゲーションを正常に実行できます。
Sonicverse は https://github.com/StanfordVL/Sonicverse から入手できます。

要約(オリジナル)

Developing embodied agents in simulation has been a key research topic in recent years. Exciting new tasks, algorithms, and benchmarks have been developed in various simulators. However, most of them assume deaf agents in silent environments, while we humans perceive the world with multiple senses. We introduce Sonicverse, a multisensory simulation platform with integrated audio-visual simulation for training household agents that can both see and hear. Sonicverse models realistic continuous audio rendering in 3D environments in real-time. Together with a new audio-visual VR interface that allows humans to interact with agents with audio, Sonicverse enables a series of embodied AI tasks that need audio-visual perception. For semantic audio-visual navigation in particular, we also propose a new multi-task learning model that achieves state-of-the-art performance. In addition, we demonstrate Sonicverse’s realism via sim-to-real transfer, which has not been achieved by other simulators: an agent trained in Sonicverse can successfully perform audio-visual navigation in real-world environments. Sonicverse is available at: https://github.com/StanfordVL/Sonicverse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google