要約
モバイル機器アプリケーションの複雑化に伴い、これらの機器は高い俊敏性を目指して進化している。このシフトは、特に高精度と低遅延を達成するという点で、モバイルセンシングに新たな要求を課す。イベントベースビジョンは破壊的なパラダイムとして登場し、高い時間分解能、低レイテンシ、エネルギー効率を提供し、高機動性プラットフォームにおける高精度かつ低レイテンシのセンシングタスクに適している。しかし、ノイズの多いイベントの存在、固有のセマンティック情報の欠如、大量のデータ量は、リソースに制約のあるモバイル機器でのイベントベースのデータ処理に大きな課題をもたらす。本稿では、2014年から2024年にかけての文献を調査し、イベントベースのモバイルセンシングシステムの包括的な概観を提供し、基本原理、イベントの抽象化手法、アルゴリズムの進歩、ハードウェアおよびソフトウェアの高速化戦略を網羅する。また、視覚的オドメトリ、物体追跡、オプティカルフロー推定、3D再構成を含む、モバイルセンシングにおけるイベントカメラの主要なアプリケーションについて議論し、イベントデータ処理、センサーフュージョン、リアルタイム展開に関連する課題を強調する。さらに、高度な光学系を備えたイベントカメラハードウェアの改良、効率的な処理のためのニューロモルフィックコンピューティングの活用、知覚を強化するためのバイオインスパイアードアルゴリズムの統合など、今後の研究の方向性を概説する。現在進行中の研究をサポートするために、私たちはオープンソースの୧⃛(๑⃙⃘⁼̴̀꒳⁼̴́๑⃙⃘)୨⃛を提供します。このサーベイが貴重な参考資料となり、多様なアプリケーションにイベントベースビジョンを採用することが促進されることを願っています。
要約(オリジナル)
With the increasing complexity of mobile device applications, these devices are evolving toward high agility. This shift imposes new demands on mobile sensing, particularly in terms of achieving high accuracy and low latency. Event-based vision has emerged as a disruptive paradigm, offering high temporal resolution, low latency, and energy efficiency, making it well-suited for high-accuracy and low-latency sensing tasks on high-agility platforms. However, the presence of substantial noisy events, the lack of inherent semantic information, and the large data volume pose significant challenges for event-based data processing on resource-constrained mobile devices. This paper surveys the literature over the period 2014-2024, provides a comprehensive overview of event-based mobile sensing systems, covering fundamental principles, event abstraction methods, algorithmic advancements, hardware and software acceleration strategies. We also discuss key applications of event cameras in mobile sensing, including visual odometry, object tracking, optical flow estimation, and 3D reconstruction, while highlighting the challenges associated with event data processing, sensor fusion, and real-time deployment. Furthermore, we outline future research directions, such as improving event camera hardware with advanced optics, leveraging neuromorphic computing for efficient processing, and integrating bio-inspired algorithms to enhance perception. To support ongoing research, we provide an open-source \textit{Online Sheet} with curated resources and recent developments. We hope this survey serves as a valuable reference, facilitating the adoption of event-based vision across diverse applications.
arxiv情報
| 著者 | Haoyang Wang,Ruishan Guo,Pengtao Ma,Ciyu Ruan,Xinyu Luo,Wenhua Ding,Tianyang Zhong,Jingao Xu,Yunhao Liu,Xinlei Chen |
| 発行日 | 2025-04-03 21:53:09+00:00 |
| arxivサイト | arxiv_id(pdf) |