POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image and Time Series Classification

要約

自動機械学習 (AutoML) 分野は、近年ますます重要になってきています。
これらのアルゴリズムは、専門知識を必要とせずにモデルを開発できるため、業界での機械学習技術の適用が容易になります。
ニューラル アーキテクチャ検索 (NAS) は、ディープ ラーニング技術を活用してニューラル ネットワーク アーキテクチャを自律的に生成します。その結果は、AI の専門家によって手作りされた最先端のモデルに匹敵します。
ただし、このアプローチにはかなりの計算リソースとハードウェアへの投資が必要になるため、実際に使用するアプリケーションにはあまり魅力的ではありません。
この記事では、Pareto-Optimal Progressive Neural Architecture Search (POPNASv3) の 3 番目のバージョンを紹介します。POPNASv3 は、さまざまなハードウェア環境と複数の分類タスクを対象とする新しい逐次モデル ベースの最適化 NAS アルゴリズムです。
私たちの方法は、さまざまなタスクに適応するための柔軟な構造とデータ処理パイプラインを維持しながら、大きな検索スペース内で競合するアーキテクチャを見つけることができます。
このアルゴリズムは、パレート最適性を採用して、検索中にサンプリングされるアーキテクチャの数を減らし、精度を損なうことなく時間効率を大幅に改善します。
画像と時系列分類データセットで実行された実験は、POPNASv3 がさまざまな演算子の大規模なセットを探索し、さまざまなシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できるという証拠を提供します。

要約(オリジナル)

The automated machine learning (AutoML) field has become increasingly relevant in recent years. These algorithms can develop models without the need for expert knowledge, facilitating the application of machine learning techniques in the industry. Neural Architecture Search (NAS) exploits deep learning techniques to autonomously produce neural network architectures whose results rival the state-of-the-art models hand-crafted by AI experts. However, this approach requires significant computational resources and hardware investments, making it less appealing for real-usage applications. This article presents the third version of Pareto-Optimal Progressive Neural Architecture Search (POPNASv3), a new sequential model-based optimization NAS algorithm targeting different hardware environments and multiple classification tasks. Our method is able to find competitive architectures within large search spaces, while keeping a flexible structure and data processing pipeline to adapt to different tasks. The algorithm employs Pareto optimality to reduce the number of architectures sampled during the search, drastically improving the time efficiency without loss in accuracy. The experiments performed on images and time series classification datasets provide evidence that POPNASv3 can explore a large set of assorted operators and converge to optimal architectures suited for the type of data provided under different scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google