Eventor: An Efficient Event-Based Monocular Multi-View Stereo Accelerator on FPGA Platform

要約

イベントカメラは、ピクセルレベルの輝度変化をイベントストリームとして非同期に表現する、生物にヒントを得たビジョンセンサである。イベントベース単眼マルチビューステレオ（EMVS）は、イベントストリームを利用して、軌道が既知の半密な3次元構造を推定する技術である。これは、イベントベース単眼SLAMにとって重要なタスクである。しかし、必要な集中的な計算ワークロードのため、組み込みプラットフォームでのリアルタイム展開には困難である。本論文では、Eventorを高速かつ効率的なEMVSアクセラレータとして提案し、イベントの逆投影と体積光線計数を含む最も重要かつ時間のかかるステージをFPGA上で実現します。高度に並列化され、完全にパイプライン化された処理要素は、FPGAを介して特別に設計され、スループットを向上させ、メモリフットプリントを削減するために、組み込みARMとヘテロジニアスシステムとして統合されています。一方、EMVSアルゴリズムは、再スケジューリング、近似計算、ハイブリッドデータ量子化により、よりハードウェアフレンドリーな方法で再定式化されています。DAVISデータセットで評価した結果、EventorはIntel i5 CPUプラットフォームと比較して、最大24倍のエネルギー効率の改善を達成しました。

要約(オリジナル)

Event cameras are bio-inspired vision sensors that asynchronously represent pixel-level brightness changes as event streams. Event-based monocular multi-view stereo (EMVS) is a technique that exploits the event streams to estimate semi-dense 3D structure with known trajectory. It is a critical task for event-based monocular SLAM. However, the required intensive computation workloads make it challenging for real-time deployment on embedded platforms. In this paper, Eventor is proposed as a fast and efficient EMVS accelerator by realizing the most critical and time-consuming stages including event back-projection and volumetric ray-counting on FPGA. Highly paralleled and fully pipelined processing elements are specially designed via FPGA and integrated with the embedded ARM as a heterogeneous system to improve the throughput and reduce the memory footprint. Meanwhile, the EMVS algorithm is reformulated to a more hardware-friendly manner by rescheduling, approximate computing and hybrid data quantization. Evaluation results on DAVIS dataset show that Eventor achieves up to $24\times$ improvement in energy efficiency compared with Intel i5 CPU platform.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL