An Improved One millisecond Mobile Backbone

要約

モバイル機器向けの効率的なニューラルネットワークのバックボーンは、FLOPsやパラメータ数といった指標に最適化されていることが多い。しかし、これらの指標は、モバイルデバイスに展開したときのネットワークの遅延とあまり相関がない場合があります。そこで、我々は、モバイルデバイス上に複数のモバイルフレンドリーなネットワークを展開することで、様々なメトリクスについて広範な分析を実施しました。また、最近の効率的なニューラルネットワークにおけるアーキテクチャと最適化のボトルネックを特定・分析し、これらのボトルネックを緩和する方法を提供する。この目的のために、我々は効率的なバックボーンMobileOneを設計し、iPhone12で推論時間1ms未満、ImageNetで75.9%のトップ1精度を達成したバリアントを持つ。MobileOneは効率的なアーキテクチャの中で最先端の性能を達成し、モバイルでは何倍も高速に動作することを示す。我々の最良のモデルは、ImageNetにおいてMobileFormerと同程度の性能を達成しながら、38倍もの高速化を実現しています。また、EfficientNetと同程度の遅延で、ImageNetのトップ1精度を2.3%向上させることができました。さらに、我々のモデルは、画像分類、物体検出、セマンティックセグメンテーションといった複数のタスクに一般化され、モバイルデバイスに展開した場合、既存の効率的なアーキテクチャと比較して、待ち時間と精度が大幅に改善されることを示しました。

要約(オリジナル)

Efficient neural network backbones for mobile devices are often optimized for metrics such as FLOPs or parameter count. However, these metrics may not correlate well with latency of the network when deployed on a mobile device. Therefore, we perform extensive analysis of different metrics by deploying several mobile-friendly networks on a mobile device. We identify and analyze architectural and optimization bottlenecks in recent efficient neural networks and provide ways to mitigate these bottlenecks. To this end, we design an efficient backbone MobileOne, with variants achieving an inference time under 1 ms on an iPhone12 with 75.9% top-1 accuracy on ImageNet. We show that MobileOne achieves state-of-the-art performance within the efficient architectures while being many times faster on mobile. Our best model obtains similar performance on ImageNet as MobileFormer while being 38x faster. Our model obtains 2.3% better top-1 accuracy on ImageNet than EfficientNet at similar latency. Furthermore, we show that our model generalizes to multiple tasks – image classification, object detection, and semantic segmentation with significant improvements in latency and accuracy as compared to existing efficient architectures when deployed on a mobile device.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL