Finding Fallen Objects Via Asynchronous Audio-Visual Integration

要約

オブジェクトの外観と音の仕方は、その物理的特性を補完的に反映しています。
多くの設定では、視覚と聴覚からの手がかりは非同期で到着しますが、オブジェクトが床に落ちたのを聞いてそれを見つけなければならない場合のように、統合する必要があります。
この論文では、3D仮想環境でマルチモーダルオブジェクトのローカリゼーションを研究するための設定を紹介します。
部屋のどこかに物を落とします。
カメラとマイクを備えた具体化されたロボットエージェントは、音声信号と視覚信号を基礎となる物理学の知識と組み合わせることにより、どのオブジェクトがどこにドロップされたかを判断する必要があります。
この問題を研究するために、64の部屋に30の物理オブジェクトカテゴリの8000のインスタンスを含む大規模なデータセット（Fallen Objectsデータセット）を生成しました。
データセットはThreeDWorldプラットフォームを使用しており、物理ベースの衝撃音と、フォトリアリスティックな設定でのオブジェクト間の複雑な物理的相互作用をシミュレートできます。
この課題に取り組むための最初のステップとして、模倣学習、強化学習、およびモジュール式計画に基づいて、一連の具体化されたエージェントベースラインを開発し、この新しいタスクの課題の詳細な分析を実行します。

要約(オリジナル)

The way an object looks and sounds provide complementary reflections of its physical properties. In many settings cues from vision and audition arrive asynchronously but must be integrated, as when we hear an object dropped on the floor and then must find it. In this paper, we introduce a setting in which to study multi-modal object localization in 3D virtual environments. An object is dropped somewhere in a room. An embodied robot agent, equipped with a camera and microphone, must determine what object has been dropped — and where — by combining audio and visual signals with knowledge of the underlying physics. To study this problem, we have generated a large-scale dataset — the Fallen Objects dataset — that includes 8000 instances of 30 physical object categories in 64 rooms. The dataset uses the ThreeDWorld platform which can simulate physics-based impact sounds and complex physical interactions between objects in a photorealistic setting. As a first step toward addressing this challenge, we develop a set of embodied agent baselines, based on imitation learning, reinforcement learning, and modular planning, and perform an in-depth analysis of the challenge of this new task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google