Vision-based Wearable Steering Assistance for People with Impaired Vision in Jogging

要約

アウトドアスポーツは、視力が低下した人々にとって難題です。より高速な移動が求められていることから、私たちは視覚ベースのウェアラブル操舵補助装置を開発することを思いつきました。幅広い応用性を確保するため、代表的なスポーツ環境である陸上競技場に焦点を当てました。知覚の速度と精度を向上させること、実世界での計画適応性を高めること、視覚障害者に迅速かつ安全な支援を提供することを中心に取り組みました。知覚では、トラックラインと障害物を同時に検出できる軽量なマルチタスク・ネットワークを設計した。さらに、陸上競技のトラックにおけるマルチタスク検出をサポートするための既存のデータセットには限界があるため、1000枚の画像を含む新しいデータセット（MAT）を精力的に収集し、アノテーションを施した。計画においては、サンプリングとスプライン曲線の手法を統合し、曲線の計画上の課題に対処した。一方、視覚障害者を現在の軌道に沿って安全に誘導するための制約条件として、軌道線と障害物の位置を利用した。本システムは、組み込みデバイスであるJetson Orin NX上に展開されている。屋外での実験を通じて、様々なスポーツシーンにおける適応性を実証し、平均速度1.34m/sで400mの自由移動を達成するユーザを支援し、健常者のジョギングレベルを満たした。我々のMATデータセットは、https://github.com/snoopy-l/MAT から公開されている。

要約(オリジナル)

Outdoor sports pose a challenge for people with impaired vision. The demand for higher-speed mobility inspired us to develop a vision-based wearable steering assistance. To ensure broad applicability, we focused on a representative sports environment, the athletics track. Our efforts centered on improving the speed and accuracy of perception, enhancing planning adaptability for the real world, and providing swift and safe assistance for people with impaired vision. In perception, we engineered a lightweight multitask network capable of simultaneously detecting track lines and obstacles. Additionally, due to the limitations of existing datasets for supporting multi-task detection in athletics tracks, we diligently collected and annotated a new dataset (MAT) containing 1000 images. In planning, we integrated the methods of sampling and spline curves, addressing the planning challenges of curves. Meanwhile, we utilized the positions of the track lines and obstacles as constraints to guide people with impaired vision safely along the current track. Our system is deployed on an embedded device, Jetson Orin NX. Through outdoor experiments, it demonstrated adaptability in different sports scenarios, assisting users in achieving free movement of 400-meter at an average speed of 1.34 m/s, meeting the level of normal people in jogging. Our MAT dataset is publicly available from https://github.com/snoopy-l/MAT

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL