Listen to Your Map: An Online Representation for Spatial Sonification

要約

ロボット認識は、ナビゲーションエイズにとって重要な技術になりつつあり、特に空間的な超音波処理を通じて視覚障害のある個人を支援しています。
このホワイトペーパーでは、物理的な空間を聴覚体験に変えるためのシーンのジオメトリを正確にキャプチャするマッピング表現を紹介します。
深さセンサーを使用して、刻々と構築された3Dシーンを、角度および距離情報を使用したコンパクトな360度表現にエンコードし、この方法で人間の聴覚空間知覚に合わせます。
提案されたフレームワークは、効率的なオンラインシーンの再構築のために、VDB-Gaussianプロセス距離フィールドを介してローカリゼーションとマッピングを実行します。
重要な側面は、センサー中心の構造であり、2D円形または3D円形のラスターベースの投影のいずれかを維持します。
この空間表現は、代表的な部屋からの単純な事前録音された応答を使用して、バイノーラル聴覚信号に変換されます。
定量的および定性的評価は、動的オブジェクトの効果的な取り扱いを伴う、他のアプローチと比較して、精度、カバレッジ、タイミング、および超音波の適合性の改善を示しています。
付随するビデオは、部屋のような環境における空間的な超音波検査を示しています。
https://tinyurl.com/listententoyourmap

要約(オリジナル)

Robotic perception is becoming a key technology for navigation aids, especially helping individuals with visual impairments through spatial sonification. This paper introduces a mapping representation that accurately captures scene geometry for sonification, turning physical spaces into auditory experiences. Using depth sensors, we encode an incrementally built 3D scene into a compact 360-degree representation with angular and distance information, aligning this way with human auditory spatial perception. The proposed framework performs localisation and mapping via VDB-Gaussian Process Distance Fields for efficient online scene reconstruction. The key aspect is a sensor-centric structure that maintains either a 2D-circular or 3D-cylindrical raster-based projection. This spatial representation is then converted into binaural auditory signals using simple pre-recorded responses from a representative room. Quantitative and qualitative evaluations show improvements in accuracy, coverage, timing and suitability for sonification compared to other approaches, with effective handling of dynamic objects as well. An accompanying video demonstrates spatial sonification in room-like environments. https://tinyurl.com/ListenToYourMap

arxiv情報

提供元, 利用サービス

arxiv.jp, Google