Quantized Distillation: Optimizing Driver Activity Recognition Models for Resource-Constrained Environments

要約

深層学習ベースのモデルは、その優れた精度により、ほとんどのドライバー観察ベンチマークの最前線にありますが、高い計算コストも伴います。
実際の運転シナリオではリソースが限られていることが多いため、これは困難です。
このペーパーでは、リソース効率の高いドライバーのアクティビティ認識のための軽量フレームワークを紹介します。
このフレームワークは、モデルの精度と計算効率のバランスを取るために知識の蒸留とモデルの量子化を組み込むことにより、ビデオ分類の速度に最適化されたニューラル アーキテクチャである 3D MobileNet を強化します。
知識の蒸留は、元のグラウンド トゥルース データのみに依存するのではなく、より大きな教師モデル (I3D) からのソフト ラベルを活用することで、モデル サイズを削減しながら精度を維持するのに役立ちます。
モデルの量子化では、モデルの重みとアクティベーションに低精度の整数を使用することで、メモリと計算の需要が大幅に削減されます。
自動運転中の車内モニタリング用の公開データセットでの広範なテストにより、この新しいフレームワークが、すでに最適化されたアーキテクチャと比較して、モデル サイズの 3 倍の縮小と推論時間の 1.4 倍の改善を達成することが実証されました。
この調査のコードは https://github.com/calvintanama/qd-driver-activity-reco で入手できます。

要約(オリジナル)

Deep learning-based models are at the forefront of most driver observation benchmarks due to their remarkable accuracies but are also associated with high computational costs. This is challenging, as resources are often limited in real-world driving scenarios. This paper introduces a lightweight framework for resource-efficient driver activity recognition. The framework enhances 3D MobileNet, a neural architecture optimized for speed in video classification, by incorporating knowledge distillation and model quantization to balance model accuracy and computational efficiency. Knowledge distillation helps maintain accuracy while reducing the model size by leveraging soft labels from a larger teacher model (I3D), instead of relying solely on original ground truth data. Model quantization significantly lowers memory and computation demands by using lower precision integers for model weights and activations. Extensive testing on a public dataset for in-vehicle monitoring during autonomous driving demonstrates that this new framework achieves a threefold reduction in model size and a 1.4-fold improvement in inference time, compared to an already optimized architecture. The code for this study is available at https://github.com/calvintanama/qd-driver-activity-reco.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google