DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs

要約

ニューラル アーキテクチャ検索 (NAS) は、アプリケーションに適応したニューラル アーキテクチャを生成することにより、多くのタスクに対して効果的なアプローチの 1 つであることが証明されていますが、依然として高い計算コストとメモリ消費量という課題があります。
同時に、バイナリの重みとアクティベーションを備えた 1 ビットの畳み込みニューラル ネットワーク (CNN) は、リソースが限られた組み込みデバイスに対する可能性を示しています。
自然なアプローチの 1 つは、1 ビット CNN を使用して、統一されたフレームワークでそれぞれの利点を活用することで NAS の計算コストとメモリ コストを削減することです。一方、1 ビット CNN の検索は、より複雑なプロセスが関与するためより困難です。
この論文では、実数値モデルの監視下で 1 ビット モデル (Child) を検索する新しいフレームワークに基づいて、1 ビット CNN を効率的に検索するための不一致子親ニューラル アーキテクチャ検索 (DCP-NAS) を紹介します。
（親）。
特に、最初に親モデルを利用して接線方向を計算し、それに基づいて接線伝播法を導入して最適化された 1 ビットの子を検索します。
さらに、このような微分可能なフレームワークに存在する重みとアーキテクチャ パラメーター間の結合関係を観察します。
この問題に対処するために、最適化されたアーキテクチャを探索する分離最適化手法を提案します。
広範な実験により、当社の DCP-NAS は、CIFAR-10 データセットと ImageNet データセットの両方で従来技術よりもはるかに優れた結果を達成できることが実証されました。
特に、当社の DCP-NAS によって実現されるバックボーンは、人物の再識別と物体の検出において強力な汎化パフォーマンスを実現します。

要約(オリジナル)

Neural architecture search (NAS) proves to be among the effective approaches for many tasks by generating an application-adaptive neural architecture, which is still challenged by high computational cost and memory consumption. At the same time, 1-bit convolutional neural networks (CNNs) with binary weights and activations show their potential for resource-limited embedded devices. One natural approach is to use 1-bit CNNs to reduce the computation and memory cost of NAS by taking advantage of the strengths of each in a unified framework, while searching the 1-bit CNNs is more challenging due to the more complicated processes involved. In this paper, we introduce Discrepant Child-Parent Neural Architecture Search (DCP-NAS) to efficiently search 1-bit CNNs, based on a new framework of searching the 1-bit model (Child) under the supervision of a real-valued model (Parent). Particularly, we first utilize a Parent model to calculate a tangent direction, based on which the tangent propagation method is introduced to search the optimized 1-bit Child. We further observe a coupling relationship between the weights and architecture parameters existing in such differentiable frameworks. To address the issue, we propose a decoupled optimization method to search an optimized architecture. Extensive experiments demonstrate that our DCP-NAS achieves much better results than prior arts on both CIFAR-10 and ImageNet datasets. In particular, the backbones achieved by our DCP-NAS achieve strong generalization performance on person re-identification and object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google