VFM-Det: Towards High-Performance Vehicle Detection via Large Foundation Models

要約

既存の車両検出器は通常、事前にトレーニングされたバックボーン (ResNet、ViT など) に基づいて車両画像上で典型的な検出器 (YOLO、RCNN、DETR シリーズなど) をトレーニングすることによって取得されます。
研究者の中には、事前にトレーニングされた大規模な基礎モデルを利用して検出パフォーマンスを向上させる人もいます。
ただし、これらの検出器が使用する大規模なモデルは車両用に特別に設計されていないため、これらの検出器は次善の結果しか得られない可能性があると考えられます。
さらに、その結​​果は視覚的特徴に大きく依存しており、車両の意味情報と視覚的表現の間の整合性が考慮されることはほとんどありません。
この研究では、事前にトレーニングされた基礎車両モデル (VehicleMAE) と VFM-Det と呼ばれる大規模言語モデル (T5) に基づく新しい車両検出パラダイムを提案します。
これは、地域提案ベースの検出フレームワークに従い、VehicleMAE を使用して各提案の機能を強化できます。
さらに重要なのは、これらの提案の車両意味属性を予測し、それらを特徴ベクトルに変換して、対比学習を通じて視覚特徴を強化する新しい VAtt2Vec モジュールを提案することです。
3 つの車両検知ベンチマーク データセットに対する広範な実験により、当社の車両検知器の有効性が徹底的に証明されました。
具体的には、私たちのモデルは、Cityscapes データセットの $AP_{0.5}$、$AP_{0.75}$ メトリクスで、ベースライン アプローチをそれぞれ $+5.1\%$、$+6.2\%$ 改善します。
この作品は https://github.com/Event-AHU/VFM-Det で公開されます。

要約(オリジナル)

Existing vehicle detectors are usually obtained by training a typical detector (e.g., YOLO, RCNN, DETR series) on vehicle images based on a pre-trained backbone (e.g., ResNet, ViT). Some researchers also exploit and enhance the detection performance using pre-trained large foundation models. However, we think these detectors may only get sub-optimal results because the large models they use are not specifically designed for vehicles. In addition, their results heavily rely on visual features, and seldom of they consider the alignment between the vehicle’s semantic information and visual representations. In this work, we propose a new vehicle detection paradigm based on a pre-trained foundation vehicle model (VehicleMAE) and a large language model (T5), termed VFM-Det. It follows the region proposal-based detection framework and the features of each proposal can be enhanced using VehicleMAE. More importantly, we propose a new VAtt2Vec module that predicts the vehicle semantic attributes of these proposals and transforms them into feature vectors to enhance the vision features via contrastive learning. Extensive experiments on three vehicle detection benchmark datasets thoroughly proved the effectiveness of our vehicle detector. Specifically, our model improves the baseline approach by $+5.1\%$, $+6.2\%$ on the $AP_{0.5}$, $AP_{0.75}$ metrics, respectively, on the Cityscapes dataset.The source code of this work will be released at https://github.com/Event-AHU/VFM-Det.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google