Pseudo-Inverted Bottleneck Convolution for DARTS Search Space

要約

微分可能アーキテクチャ検索 (DARTS) は、勾配ベースのニューラル アーキテクチャ検索手法として大きな注目を集めています。
DARTS の導入以来、CNN の最先端のアーキテクチャ設計原則に基づいてアクション スペースを適応させる作業はほとんど行われていません。
この作業では、ConvNeXt に触発されたマイクロデザインの変更で DARTS 検索スペースを段階的に拡張し、精度、評価レイヤー数、および計算コストの間のトレードオフを研究することにより、このギャップに対処することを目指しています。
ConvNeXt で提案されている反転ボトルネック ブロックの計算フットプリントを削減することを目的として、Pseudo-Inverted Bottleneck Conv (PIBConv) ブロックを導入します。
私たちが提案するアーキテクチャは、評価レイヤー数の影響をはるかに受けにくく、レイヤー数がわずか 2 の場合、同様のサイズの DARTS ネットワークよりも大幅に優れています。
) とパラメーター数を比較すると、GradCAM の比較は、DARTS と比較して、ネットワークがターゲット オブジェクトの特徴的な特徴をより適切に検出できることを示しています。
コードは https://github.com/mahdihosseini/PIBConv から入手できます。

要約(オリジナル)

Differentiable Architecture Search (DARTS) has attracted considerable attention as a gradient-based neural architecture search method. Since the introduction of DARTS, there has been little work done on adapting the action space based on state-of-art architecture design principles for CNNs. In this work, we aim to address this gap by incrementally augmenting the DARTS search space with micro-design changes inspired by ConvNeXt and studying the trade-off between accuracy, evaluation layer count, and computational cost. We introduce the Pseudo-Inverted Bottleneck Conv (PIBConv) block intending to reduce the computational footprint of the inverted bottleneck block proposed in ConvNeXt. Our proposed architecture is much less sensitive to evaluation layer count and outperforms a DARTS network with similar size significantly, at layer counts as small as 2. Furthermore, with less layers, not only does it achieve higher accuracy with lower computational footprint (measured in GMACs) and parameter count, GradCAM comparisons show that our network can better detect distinctive features of target objects compared to DARTS. Code is available from https://github.com/mahdihosseini/PIBConv.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google