Efficient Model Adaptation for Continual Learning at the Edge

要約

ほとんどの機械学習（ML）システムは、学習とデプロイメントの間、データ分布が定常で一致していることを前提としている。これはしばしば誤った仮定です。MLモデルが実際のデバイスにデプロイされると、環境要因、センサーの特性、タスクオブインタレストの変化により、データ分布は時間の経過とともにシフトすることがよくあります。人間がループに入り、分布のシフトを監視し、これらのシフトに対応して新しいアーキテクチャを設計することは可能ですが、そのような設定は費用対効果が高くありません。代わりに、非定常自動ML（AutoML）モデルが必要である。本稿では、ドメインシフト下での効率的な継続学習のためのEncoder-Adaptor-Reconfigurator（EAR）フレームワークを紹介する。EARフレームワークは固定のディープニューラルネットワーク(DNN)特徴エンコーダを用い、新規データを扱うためにエンコーダの上に浅いネットワークを学習する。EARフレームワークは、1)DNNと超次元コンピューティング(HDC)を組み合わせることで、新しいデータが分布外(OOD)であることを検出し、2)ゼロショットニューラルアーキテクチャ探索(ZS-NAS)を用いて、OODデータにモデルを適応させるための低パラメータのニューラルアダプタを特定し、3)必要に応じてニューラルアーキテクチャを漸進的に成長させ、ドメイン増加型およびクラス増加型の継続学習を処理するために、適切なアダプタと再構成器を介して動的にデータをルーティングすることで、以前のタスクの壊滅的な忘却を最小化することができる。我々は、ドメイン適応のためのいくつかのベンチマークデータセットで我々のアプローチを系統的に評価し、OOD検出と少数／ゼロショットNASのための最先端のアルゴリズムと比較して、強力な性能を実証する。

要約(オリジナル)

Most machine learning (ML) systems assume stationary and matching data distributions during training and deployment. This is often a false assumption. When ML models are deployed on real devices, data distributions often shift over time due to changes in environmental factors, sensor characteristics, and task-of-interest. While it is possible to have a human-in-the-loop to monitor for distribution shifts and engineer new architectures in response to these shifts, such a setup is not cost-effective. Instead, non-stationary automated ML (AutoML) models are needed. This paper presents the Encoder-Adaptor-Reconfigurator (EAR) framework for efficient continual learning under domain shifts. The EAR framework uses a fixed deep neural network (DNN) feature encoder and trains shallow networks on top of the encoder to handle novel data. The EAR framework is capable of 1) detecting when new data is out-of-distribution (OOD) by combining DNNs with hyperdimensional computing (HDC), 2) identifying low-parameter neural adaptors to adapt the model to the OOD data using zero-shot neural architecture search (ZS-NAS), and 3) minimizing catastrophic forgetting on previous tasks by progressively growing the neural architecture as needed and dynamically routing data through the appropriate adaptors and reconfigurators for handling domain-incremental and class-incremental continual learning. We systematically evaluate our approach on several benchmark datasets for domain adaptation and demonstrate strong performance compared to state-of-the-art algorithms for OOD detection and few-/zero-shot NAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL