Exploring the Intersection between Neural Architecture Search and Continual Learning

要約

人工ニューラル ネットワーク (ANN) は大幅な進歩を遂げていますが、その設計プロセスは依然として退屈なことで知られており、主に直感、経験、試行錯誤に依存しています。
この人間依存のプロセスは多くの場合時間がかかり、エラーが発生しやすくなります。
さらに、モデルは通常、トレーニング コンテキストに束縛され、周囲の環境は考慮されません。
ニューラル ネットワークの継続的な適応性と自動化は、展開後にモデルへのアクセスが制限されるいくつかの領域 (IoT デバイス、自動運転車など) にとって最も重要です。
さらに、アクセシブルなモデルであっても、コンセプト/データのドリフトなどの問題を解決するには、導入後に頻繁なメンテナンスが必要となり、面倒で制限がかかる場合があります。
Neural Architecture Search (NAS) と継続的学習 (CL) のアプローチを活用して組み合わせることで、より堅牢で適応性のあるエージェントを開発できます。
この研究は、NAS と CL の交差点に関する最初の広範なレビューを実施し、将来の継続適応ニューラル ネットワーク (CANN) パラダイムを形式化し、生涯自律型 ANN の研究方向性を概説します。

要約(オリジナル)

Despite the significant advances achieved in Artificial Neural Networks (ANNs), their design process remains notoriously tedious, depending primarily on intuition, experience and trial-and-error. This human-dependent process is often time-consuming and prone to errors. Furthermore, the models are generally bound to their training contexts, with no considerations to their surrounding environments. Continual adaptiveness and automation of neural networks is of paramount importance to several domains where model accessibility is limited after deployment (e.g IoT devices, self-driving vehicles, etc.). Additionally, even accessible models require frequent maintenance post-deployment to overcome issues such as Concept/Data Drift, which can be cumbersome and restrictive. By leveraging and combining approaches from Neural Architecture Search (NAS) and Continual Learning (CL), more robust and adaptive agents can be developed. This study conducts the first extensive review on the intersection between NAS and CL, formalizing the prospective Continually-Adaptive Neural Networks (CANNs) paradigm and outlining research directions for lifelong autonomous ANNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google