Estimating Visual Information From Audio Through Manifold Learning

要約

オーディオ信号のみを使用してシーンに関する視覚情報を抽出するための新しいフレームワークを提案します。
音声ベースの方法は、視覚ベースの方法の制限の一部を克服できます。つまり、「視線」を必要とせず、遮蔽や照明の変化に対して堅牢であり、視覚/ライダー センサーの場合のバックアップとして機能できます。
不合格。
したがって、音声ベースの方法は、視覚情報のみに関心があるアプリケーションでも役立ちます。私たちのフレームワークは多様体学習に基づいており、2 つのステップで構成されています。
まず、Vector-Quantized Variational Auto-Encoder をトレーニングして、関心のある特定のビジュアル モダリティのデータ マニホールドを学習します。次に、オーディオ変換ネットワークをトレーニングして、マルチチャネル オーディオ信号を対応するビジュアルの潜在表現にマッピングします。
サンプル。
私たちの方法が、公開されているオーディオ/ビジュアル データセットを使用して、オーディオから意味のある画像を生成できることを示します。
特に、オーディオからの次の視覚的モダリティの予測を検討します: 奥行きとセマンティック セグメンテーション。
私たちの研究の発見が、音声からの視覚情報抽出に関するさらなる研究を促進することを願っています。
コードは https://github.com/ubc-vision/audio_manifold で入手できます。

要約(オリジナル)

We propose a new framework for extracting visual information about a scene only using audio signals. Audio-based methods can overcome some of the limitations of vision-based methods i.e., they do not require ‘line-of-sight’, are robust to occlusions and changes in illumination, and can function as a backup in case vision/lidar sensors fail. Therefore, audio-based methods can be useful even for applications in which only visual information is of interest Our framework is based on Manifold Learning and consists of two steps. First, we train a Vector-Quantized Variational Auto-Encoder to learn the data manifold of the particular visual modality we are interested in. Second, we train an Audio Transformation network to map multi-channel audio signals to the latent representation of the corresponding visual sample. We show that our method is able to produce meaningful images from audio using a publicly available audio/visual dataset. In particular, we consider the prediction of the following visual modalities from audio: depth and semantic segmentation. We hope the findings of our work can facilitate further research in visual information extraction from audio. Code is available at: https://github.com/ubc-vision/audio_manifold.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google