DDS-NAS: Dynamic Data Selection within Neural Architecture Search via On-line Hard Example Mining applied to Image Classification

要約

ニューラルアーキテクチャ検索（NAS）内のスケーラビリティチャレンジに対処するために、カリキュラム学習フレームワーク内の動的なハード例マイニングを介してNASトレーニングをスピードアップします。
潜在空間に画像類似性の埋め込みを強制する自動エンコーダーを使用することにより、低次元の埋め込みで最も遠い隣接の非類似性による画像を注文するために、効率的なKDツリー構造を構築します。
サブサンプルデータセットの特定のクエリ画像から、対数時間のグローバルデータセット内の最も異なる画像を識別できます。
カリキュラム学習を介して、NAS最適化のための偏りのないサブサンプルデータセットを動的に再形成し、現在のNASソリューションアーキテクチャのパフォーマンスが低下します。
DDS-NASフレームワークが、パフォーマンスを損なうことなく、勾配ベースのNAS戦略を最大27倍高速化することを示しています。
トレーニング中に各画像サンプルの寄与を最大化することにより、NASトレーニングサイクルの期間と収束に必要な反復回数を減らします。

要約(オリジナル)

In order to address the scalability challenge within Neural Architecture Search (NAS), we speed up NAS training via dynamic hard example mining within a curriculum learning framework. By utilizing an autoencoder that enforces an image similarity embedding in latent space, we construct an efficient kd-tree structure to order images by furthest neighbour dissimilarity in a low-dimensional embedding. From a given query image from our subsample dataset, we can identify the most dissimilar image within the global dataset in logarithmic time. Via curriculum learning, we then dynamically re-formulate an unbiased subsample dataset for NAS optimisation, upon which the current NAS solution architecture performs poorly. We show that our DDS-NAS framework speeds up gradient-based NAS strategies by up to 27x without loss in performance. By maximising the contribution of each image sample during training, we reduce the duration of a NAS training cycle and the number of iterations required for convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google