MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Detection

要約

物体検出では、検出バックボーンは全体の推論コストの半分以上を消費する。最近の研究では、ニューラルアーキテクチャ探索（NAS）の助けを借りてバックボーンアーキテクチャを最適化することにより、このコストを削減しようと試みています。しかし、既存の物体検出のためのNAS法は、数百から数千GPU時間の検索を必要とし、速いペースで進む研究開発では実用的ではありません。本研究では、この問題を解決するために、新しいゼロショットNAS法を提案する。MAE-DETと名付けられた提案手法は、ネットワークパラメータを学習することなく、最大エントロピー原理によって効率的な検出バックボーンを自動的に設計し、アーキテクチャ設計コストをほぼゼロに抑えつつ、最先端の（SOTA）性能を実現します。MAE-DETは、検出バックボーンの微分エントロピーを最大化し、同じ計算予算でより優れた物体検出のための特徴抽出器を実現します。MAE-DETは、GPUによる1日の完全自動設計の後、複数の検出ベンチマークデータセットにおいて、ほとんど人手をかけずにSOTA検出バックボーンを革新しました。ResNet-50バックボーンと比較すると、同じFLOP/パラメータを使用した場合、MAE-DETはmAPで$+2.0%$優れており、NVIDIA V100では同じmAPで1.54$倍高速です。

要約(オリジナル)

In object detection, the detection backbone consumes more than half of the overall inference cost. Recent researches attempt to reduce this cost by optimizing the backbone architecture with the help of Neural Architecture Search (NAS). However, existing NAS methods for object detection require hundreds to thousands of GPU hours of searching, making them impractical in fast-paced research and development. In this work, we propose a novel zero-shot NAS method to address this issue. The proposed method, named MAE-DET, automatically designs efficient detection backbones via the Maximum Entropy Principle without training network parameters, reducing the architecture design cost to nearly zero yet delivering the state-of-the-art (SOTA) performance. Under the hood, MAE-DET maximizes the differential entropy of detection backbones, leading to a better feature extractor for object detection under the same computational budgets. After merely one GPU day of fully automatic design, MAE-DET innovates SOTA detection backbones on multiple detection benchmark datasets with little human intervention. Comparing to ResNet-50 backbone, MAE-DET is $+2.0\%$ better in mAP when using the same amount of FLOPs/parameters, and is $1.54$ times faster on NVIDIA V100 at the same mAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL