要約
視覚障害者は、特に空間認識と意味的な情景理解を必要とするタスクにおいて、未知の状況をナビゲートし、相互作用するという大きな課題に直面している。視覚障害者がこのような課題を解決するための技術の開発を加速し、その状況を評価するために、サイバスロン2024大会の視覚支援レース（VIS）が開催された。本研究では、VISのために設計されたウェアラブル支援システムであるSight Guideを紹介する。このシステムは、複数のRGBカメラと深度カメラからのデータを組み込みコンピュータ上で処理し、振動信号と音声コマンドを使用して、複雑な実世界にインスパイアされたタスクを通じてユーザーをガイドする。我々のソフトウェア・アーキテクチャは、古典的なロボット工学アルゴリズムと学習ベースのアプローチを統合し、障害物回避、物体検出、光学式文字認識、タッチスクリーンとのインタラクションなどの機能を実現している。テスト環境において、サイトガイドは95.7%のタスク成功率を達成し、さらにサイバスロン競技においてその有効性を実証した。この研究は、システム設計、評価結果、得られた教訓に関する詳細な洞察を提供し、より広範な実世界適用に向けた方向性を概説する。
要約(オリジナル)
Visually impaired individuals face significant challenges navigating and interacting with unknown situations, particularly in tasks requiring spatial awareness and semantic scene understanding. To accelerate the development and evaluate the state of technologies that enable visually impaired people to solve these tasks, the Vision Assistance Race (VIS) at the Cybathlon 2024 competition was organized. In this work, we present Sight Guide, a wearable assistive system designed for the VIS. The system processes data from multiple RGB and depth cameras on an embedded computer that guides the user through complex, real-world-inspired tasks using vibration signals and audio commands. Our software architecture integrates classical robotics algorithms with learning-based approaches to enable capabilities such as obstacle avoidance, object detection, optical character recognition, and touchscreen interaction. In a testing environment, Sight Guide achieved a 95.7% task success rate, and further demonstrated its effectiveness during the Cybathlon competition. This work provides detailed insights into the system design, evaluation results, and lessons learned, and outlines directions towards a broader real-world applicability.
arxiv情報
| 著者 | Patrick Pfreundschuh,Giovanni Cioffi,Cornelius von Einem,Alexander Wyss,Hans Wernher van de Venn,Cesar Cadena,Davide Scaramuzza,Roland Siegwart,Alireza Darvishy |
| 発行日 | 2025-06-03 09:22:02+00:00 |
| arxivサイト | arxiv_id(pdf) |