Video-based Traffic Light Recognition by Rockchip RV1126 for Autonomous Driving

要約

リアルタイムの信号機の認識は、都市環境における自律運転の安全性と航海の基本です。
既存のアプローチは、オンボードカメラからの単一フレーム分析に依存していますが、閉塞と有害な照明条件を含む複雑なシナリオと格闘しています。
複数の連続したフレームを処理して堅牢な信号機の検出と状態分類を実現する新しいビデオベースのエンドツーエンドニューラルネットワークである\ textit {vitlr}を提示します。
アーキテクチャは、Rockchip RV1126エンメッドプラットフォームでの展開に特に最適化された畳み込みの自己触媒モジュールを備えたトランス状態の設計を活用しています。
2つの実際のデータセットでの広範な評価は、\ textit {vitlr}がRV1126のNPUでリアルタイム処理機能（> 25 fps）を維持しながら、最先端のパフォーマンスを達成することを示しています。
このシステムは、既存の単一フレームアプローチと比較して、時間的安定性、ターゲット距離の変化、挑戦的な環境条件にわたる優れた堅牢性を示しています。
自律運転アプリケーションにHDマップを使用して、\ textit {vitlr}をエゴレーンの信号機認識システムに統合しました。
ソースコードやデータセットを含む完全な実装は、このドメインでのさらなる研究を促進するために公開されています。

要約(オリジナル)

Real-time traffic light recognition is fundamental for autonomous driving safety and navigation in urban environments. While existing approaches rely on single-frame analysis from onboard cameras, they struggle with complex scenarios involving occlusions and adverse lighting conditions. We present \textit{ViTLR}, a novel video-based end-to-end neural network that processes multiple consecutive frames to achieve robust traffic light detection and state classification. The architecture leverages a transformer-like design with convolutional self-attention modules, which is optimized specifically for deployment on the Rockchip RV1126 embedded platform. Extensive evaluations on two real-world datasets demonstrate that \textit{ViTLR} achieves state-of-the-art performance while maintaining real-time processing capabilities (>25 FPS) on RV1126’s NPU. The system shows superior robustness across temporal stability, varying target distances, and challenging environmental conditions compared to existing single-frame approaches. We have successfully integrated \textit{ViTLR} into an ego-lane traffic light recognition system using HD maps for autonomous driving applications. The complete implementation, including source code and datasets, is made publicly available to facilitate further research in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google