Q-YOLOP: Quantization-aware You Only Look Once for Panoptic Driving Perception

要約

この研究では、自動運転のコンテキストで、物体検出、走行可能エリアのセグメンテーション、および車線のセグメンテーションのための効率的で量子化を意識したパノプティック運転知覚モデル (Q-YOLOP) を紹介します。
私たちのモデルは、バックボーンとして Efficient Layer Aggregation Network (ELAN) を採用し、各タスクのタスク固有のヘッドを採用しています。
私たちは、BDD100K データセットでの事前トレーニング、BDD100K と iVS データセットの両方での微調整、BDD100K での量子化対応トレーニング (QAT) を含む 4 段階のトレーニング プロセスを採用しています。
トレーニング プロセスでは、ランダム パースペクティブやモザイクなどの強力なデータ拡張手法を使用し、BDD100K と iVS データセットの組み合わせでモデルをトレーニングします。
どちらの戦略もモデルの一般化機能を強化します。
提案されたモデルは、低い計算量とメモリ要件を維持しながら、オブジェクト検出の mAP@0.5 が 0.622、セグメンテーションの mIoU が 0.612 という最先端のパフォーマンスを実現します。

要約(オリジナル)

In this work, we present an efficient and quantization-aware panoptic driving perception model (Q- YOLOP) for object detection, drivable area segmentation, and lane line segmentation, in the context of autonomous driving. Our model employs the Efficient Layer Aggregation Network (ELAN) as its backbone and task-specific heads for each task. We employ a four-stage training process that includes pretraining on the BDD100K dataset, finetuning on both the BDD100K and iVS datasets, and quantization-aware training (QAT) on BDD100K. During the training process, we use powerful data augmentation techniques, such as random perspective and mosaic, and train the model on a combination of the BDD100K and iVS datasets. Both strategies enhance the model’s generalization capabilities. The proposed model achieves state-of-the-art performance with an mAP@0.5 of 0.622 for object detection and an mIoU of 0.612 for segmentation, while maintaining low computational and memory requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google