aUToLights: A Robust Multi-Camera Traffic Light Detection and Tracking System

要約

SAE AutoDrive Challenge シリーズ I での 4 年間の成功に続き、トロント大学は、2025 年までに都市部のさまざまな運転シナリオに対応できるレベル 4 の自動運転乗用車を開発するシリーズ II コンペティションに参加しています。信号機の正確な検出と信号機の正確な識別
彼らの州は都市での安全な自律運営に不可欠です。
ここでは、トロント大学の自動運転車 Artemis のような自動運転車向けに、最近再設計された信号認識システムについて説明します。
ほとんどの信号認識システムと同様に、私たちは主にカメラベースの物体検出器に依存しています。
複数のカメラにわたる境界ボックス回帰と信号機分類のために YOLOv5 検出器を導入し、観察結果を融合します。
堅牢性を向上させるために、高解像度のセマンティック マップから事前分布を組み込み、隠れマルコフ モデルを使用して状態フィルタリングを実行します。
複数の目に見える交差点、信号機の変化、一時的な遮蔽、点滅する光の状態などの複雑な状況を処理する、マルチカメラのリアルタイム対応信号機認識パイプラインをデモします。
システムを検証するために、点滅状態とさまざまなオクルージョン タイプを組み込んださまざまなデータセットを収集し、注釈を付けました。
私たちの結果は、単一フレーム、単一カメラの物体検出と比較して、困難な現実世界のシナリオにおいて優れたパフォーマンスを示しています。

要約(オリジナル)

Following four successful years in the SAE AutoDrive Challenge Series I, the University of Toronto is participating in the Series II competition to develop a Level 4 autonomous passenger vehicle capable of handling various urban driving scenarios by 2025. Accurate detection of traffic lights and correct identification of their states is essential for safe autonomous operation in cities. Herein, we describe our recently-redesigned traffic light perception system for autonomous vehicles like the University of Toronto’s self-driving car, Artemis. Similar to most traffic light perception systems, we rely primarily on camera-based object detectors. We deploy the YOLOv5 detector for bounding box regression and traffic light classification across multiple cameras and fuse the observations. To improve robustness, we incorporate priors from high-definition semantic maps and perform state filtering using hidden Markov models. We demonstrate a multi-camera, real time-capable traffic light perception pipeline that handles complex situations including multiple visible intersections, traffic light variations, temporary occlusion, and flashing light states. To validate our system, we collected and annotated a varied dataset incorporating flashing states and a range of occlusion types. Our results show superior performance in challenging real-world scenarios compared to single-frame, single-camera object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google