Towards Low-Latency Event-based Obstacle Avoidance on a FPGA-Drone

要約

この作業は、FPGAアクセラレータでの衝突回避におけるアクション予測のための、従来のRGBベースのモデルに対するイベントベースのビジョンシステム（EVS）のパフォーマンスを定量的に評価します。
我々の実験は、EVSモデルが、特に分配外データでテストされた場合、RGBベースのモデルと比較して、有効なフレームレート（1 kHz）および低い時間（-20 ms）および空間予測エラー（-20 mm）を達成することを示しています。
また、EVSモデルは、最適な回避操作を選択する際に優れた堅牢性を示しています。
特に、運動状態と静止状態を区別する際に、精度で59パーセントポイントの優位性（78％対19％）と大幅に高いF1スコア（0.73対0.06）を達成し、RGBモデルの過剰フィットに対する感受性を強調します。
空間クラスのさまざまな組み合わせでのさらなる分析により、両方のテストデータセットでのEVSモデルの一貫したパフォーマンスが確認されます。
最後に、システムのエンドツーエンドを評価し、約2.14ミリ秒の遅延を達成し、イベント集約（1ミリ秒）と最大のコンポーネントを処理ユニット（0.94ミリ秒）で推論しました。
これらの結果は、リアルタイムの衝突回避に対するイベントベースのビジョンの利点を強調し、リソースに制約のある環境での展開の可能性を示しています。

要約(オリジナル)

This work quantitatively evaluates the performance of event-based vision systems (EVS) against conventional RGB-based models for action prediction in collision avoidance on an FPGA accelerator. Our experiments demonstrate that the EVS model achieves a significantly higher effective frame rate (1 kHz) and lower temporal (-20 ms) and spatial prediction errors (-20 mm) compared to the RGB-based model, particularly when tested on out-of-distribution data. The EVS model also exhibits superior robustness in selecting optimal evasion maneuvers. In particular, in distinguishing between movement and stationary states, it achieves a 59 percentage point advantage in precision (78% vs. 19%) and a substantially higher F1 score (0.73 vs. 0.06), highlighting the susceptibility of the RGB model to overfitting. Further analysis in different combinations of spatial classes confirms the consistent performance of the EVS model in both test data sets. Finally, we evaluated the system end-to-end and achieved a latency of approximately 2.14 ms, with event aggregation (1 ms) and inference on the processing unit (0.94 ms) accounting for the largest components. These results underscore the advantages of event-based vision for real-time collision avoidance and demonstrate its potential for deployment in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google