V-CAS: A Realtime Vehicle Anti Collision System Using Vision Transformer on Multi-Camera Streams

要約

この文書では、環境認識に基づいた適応ブレーキによって車両の安全性を向上させるように設計されたリアルタイム車両衝突回避システム (V-CAS) を紹介します。
V-CAS は、高度なビジョンベースの変圧器モデル RT-DETR、DeepSORT 追跡、速度推定、ブレーキ光検出、および適応制動メカニズムを活用しています。
複数のカメラ ストリームからのブレーキ ライト信号と軌跡データを使用して、車両の相対加速度、距離、検出されたブレーキ操作に基づいて複合衝突リスク スコアを計算し、シーンの認識を向上させます。
Jetson Orin Nano に実装された V-CAS により、リアルタイムの衝突リスク評価と適応ブレーキによる予防的な軽減が可能になります。
比較分析のためにさまざまなデータセットに対して包括的なトレーニング プロセスが実行され、その後、転移学習を使用して選択された物体検出モデルが微調整されました。
このシステムの有効性は、YouTube の自動車事故データセット (CCD) とリアルタイム実験を通じて厳密に評価され、平均 1.13 秒のプロアクティブ アラート時間で 98% 以上の精度を達成しました。
結果は、従来の単一カメラ方式と比較して、物体の検出と追跡が大幅に改善され、衝突回避が強化されたことを示しています。
この研究は、環境認識の強化とプロアクティブな衝突回避メカニズムを通じて自動車の安全性を向上させる、低コストのマルチカメラ組み込みビジョントランスシステムの可能性を実証しています。

要約(オリジナル)

This paper introduces a real-time Vehicle Collision Avoidance System (V-CAS) designed to enhance vehicle safety through adaptive braking based on environmental perception. V-CAS leverages the advanced vision-based transformer model RT-DETR, DeepSORT tracking, speed estimation, brake light detection, and an adaptive braking mechanism. It computes a composite collision risk score based on vehicles’ relative accelerations, distances, and detected braking actions, using brake light signals and trajectory data from multiple camera streams to improve scene perception. Implemented on the Jetson Orin Nano, V-CAS enables real-time collision risk assessment and proactive mitigation through adaptive braking. A comprehensive training process was conducted on various datasets for comparative analysis, followed by fine-tuning the selected object detection model using transfer learning. The system’s effectiveness was rigorously evaluated on the Car Crash Dataset (CCD) from YouTube and through real-time experiments, achieving over 98% accuracy with an average proactive alert time of 1.13 seconds. Results indicate significant improvements in object detection and tracking, enhancing collision avoidance compared to traditional single-camera methods. This research demonstrates the potential of low-cost, multi-camera embedded vision transformer systems to advance automotive safety through enhanced environmental perception and proactive collision avoidance mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google