Development, Optimization, and Deployment of Thermal Forward Vision Systems for Advance Vehicular Applications on Edge Devices

要約

この研究作業では、エンドツーエンドのYOLOディープラーニングフレームワークを使用して、すべての天候や過酷な環境条件で効果を維持するスマートフォワードセンシングシステムとして、サーマルタイニーYOLOマルチクラスオブジェクト検出（TTYMOD）システムを提案しました
.
これにより、安全性が向上し、ドライバー支援の認識機能が向上します。
このシステムは、大規模なサーマル パブリック データセットと、35,000 を超える個別のサーマル フレームで構成される新しく収集された新しいオープンソース データセットでトレーニングされています。
温度データに対する YOLO-v5 の小さなネットワーク バリアントの最適なトレーニングと収束のために、確率的適切な勾配 (SGD)、Adam、および重量減衰の実装が改善されたそのバリアント AdamW を含むさまざまなオプティマイザーを採用しました。
熱的に調整された小さなアーキテクチャのパフォーマンスは、多様で困難な気象および環境条件で、一般公開およびローカルで収集されたテスト データでさらに評価されます。
熱的に調整されたナノ ネットワークの有効性は、平均精度、1 秒あたりのフレーム数、平均推論時間など、さまざまな定性的指標を使用して定量化されます。
実験結果は、ネットワークが 4 ミリ秒の平均推論時間/フレームで 56.4% の最高の mAP を達成したことを示しています。
この研究には、TensorFlow Lite 量子化ツールを使用した小さなネットワーク バリアントの最適化がさらに組み込まれています。これは、エッジやモバイル デバイスでのディープ ラーニング アーキテクチャの展開に役立ちます。
この調査では、raspberry pi 4 コンピューティング ボードを使用して、自動車センサー スイート用の熱物体検出ネットワークの最適化されたバージョンのリアルタイム実行可能性パフォーマンスを評価しました。
ソース コード、トレーニングおよび最適化されたモデル、および完全な検証/テスト結果は、https://github.com/MAli-Farooq/Thermal-YOLO-And-Model-Optimization-Using-TensorFlowLite で公開されています。

要約(オリジナル)

In this research work, we have proposed a thermal tiny-YOLO multi-class object detection (TTYMOD) system as a smart forward sensing system that should remain effective in all weather and harsh environmental conditions using an end-to-end YOLO deep learning framework. It provides enhanced safety and improved awareness features for driver assistance. The system is trained on large-scale thermal public datasets as well as newly gathered novel open-sourced dataset comprising of more than 35,000 distinct thermal frames. For optimal training and convergence of YOLO-v5 tiny network variant on thermal data, we have employed different optimizers which include stochastic decent gradient (SGD), Adam, and its variant AdamW which has an improved implementation of weight decay. The performance of thermally tuned tiny architecture is further evaluated on the public as well as locally gathered test data in diversified and challenging weather and environmental conditions. The efficacy of a thermally tuned nano network is quantified using various qualitative metrics which include mean average precision, frames per second rate, and average inference time. Experimental outcomes show that the network achieved the best mAP of 56.4% with an average inference time/ frame of 4 milliseconds. The study further incorporates optimization of tiny network variant using the TensorFlow Lite quantization tool this is beneficial for the deployment of deep learning architectures on the edge and mobile devices. For this study, we have used a raspberry pi 4 computing board for evaluating the real-time feasibility performance of an optimized version of the thermal object detection network for the automotive sensor suite. The source code, trained and optimized models and complete validation/ testing results are publicly available at https://github.com/MAli-Farooq/Thermal-YOLO-And-Model-Optimization-Using-TensorFlowLite.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google