Exosense: A Vision-Centric Scene Understanding System For Safe Exoskeleton Navigation

要約

運動障害のある人が日常的に使用できる外骨格が開発されています。
正確かつ堅牢なシーン理解システムが必要です。
現在の研究では、視覚を使用して直近の地形や幾何学的障害物を識別していますが、これらのアプローチはユーザーの目の前での検出に限定されており、有限範囲の地形タイプ (階段、スロープ、平地など) の分類に限定されています。
この論文では、セマンティック情報と地形通過可能性情報の両方を組み込んだ、世界的に一貫した豊富な標高地図を生成できる、視覚中心のシーン理解システムである Exosense について説明します。
これは、視覚言語モデル (VLM) からのオープンボキャブラリールームラベルが埋め込まれた、視覚的な SLAM ポーズグラフに関連付けられた弾性アトラスマッピングフレームワークを特徴としています。
このデバイスの設計には、外骨格の歩行パターンによってもたらされる課題を軽減するために、広視野 (FoV) の魚眼マルチカメラ システムが含まれています。
我々は、典型的な周期的な歩行の課題に対するシステムの堅牢性と、屋内環境で正確な意味論的に豊富なマップを構築する能力を実証します。
さらに、外骨格の安全なナビゲーションに向けた一歩を提供する、動作計画の可能性を紹介します。

要約(オリジナル)

Exoskeletons for daily use by those with mobility impairments are being developed. They will require accurate and robust scene understanding systems. Current research has used vision to identify immediate terrain and geometric obstacles, however these approaches are constrained to detections directly in front of the user and are limited to classifying a finite range of terrain types (e.g., stairs, ramps and level-ground). This paper presents Exosense, a vision-centric scene understanding system which is capable of generating rich, globally-consistent elevation maps, incorporating both semantic and terrain traversability information. It features an elastic Atlas mapping framework associated with a visual SLAM pose graph, embedded with open-vocabulary room labels from a Vision-Language Model (VLM). The device’s design includes a wide field-of-view (FoV) fisheye multi-camera system to mitigate the challenges introduced by the exoskeleton walking pattern. We demonstrate the system’s robustness to the challenges of typical periodic walking gaits, and its ability to construct accurate semantically-rich maps in indoor settings. Additionally, we showcase its potential for motion planning — providing a step towards safe navigation for exoskeletons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google