$α$ DARTS Once More: Enhancing Differentiable Architecture Search by Masked Image Modeling

要約

微分可能なアーキテクチャ検索 (DARTS) は、自動機械学習の主流の方向性です。
元の DARTS が必然的に貧弱なアーキテクチャに収束することが発見されて以来、最近の研究では、ルールベースのアーキテクチャ選択手法を設計するか、複雑な正則化手法を組み込むことでこれを軽減し、最大のパラメトリック値に基づいてアーキテクチャを選択する元の DARTS の単純さを放棄します。
$\alpha$.
さらに、以前のすべての試みは分類ラベルのみに依存しているため、単一のモーダル情報のみを学習し、共有ネットワークの表現力を制限していることがわかります。
この目的のために、パッチ回復アプローチを策定することにより、セマンティック情報を追加で注入することを提案します。
具体的には、最近のトレンドであるマスクされた画像モデリングを活用し、検索段階で下流のタスクからのガイダンスを放棄しません。
私たちの方法は、以前のすべての DARTS バリアントを上回り、手動で設計された複雑な戦略を使用せずに、CIFAR-10、CIFAR-100、および ImageNet で最先端の結果を達成します。

要約(オリジナル)

Differentiable architecture search (DARTS) has been a mainstream direction in automatic machine learning. Since the discovery that original DARTS will inevitably converge to poor architectures, recent works alleviate this by either designing rule-based architecture selection techniques or incorporating complex regularization techniques, abandoning the simplicity of the original DARTS that selects architectures based on the largest parametric value, namely $\alpha$. Moreover, we find that all the previous attempts only rely on classification labels, hence learning only single modal information and limiting the representation power of the shared network. To this end, we propose to additionally inject semantic information by formulating a patch recovery approach. Specifically, we exploit the recent trending masked image modeling and do not abandon the guidance from the downstream tasks during the search phase. Our method surpasses all previous DARTS variants and achieves state-of-the-art results on CIFAR-10, CIFAR-100, and ImageNet without complex manual-designed strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google