Cost-effective On-device Continual Learning over Memory Hierarchy with Miro

要約

継続学習 (CL) は、タスクの連続ストリームから NN モデルを段階的にトレーニングします。
以前に学習した知識を記憶するために、以前の研究では古いサンプルをメモリ階層に保存し、新しいタスクが到着したときにそれらを再生します。
データ プライバシーを保護するために CL を採用するエッジ デバイスは通常、エネルギーに敏感であるため、エネルギー効率、つまり費用対効果を犠牲にせずに高いモデル精度を必要とします。
私たちの研究は、エッジデバイスで費用対効果を達成するための洞察を得るために、階層メモリ再生ベースの CL の設計空間を初めて調査したものです。
私たちは、最高のコスト効率を実現するためにリソースの状態に基づいて CL システムを動的に構成できるようにすることで、私たちの洞察を CL フレームワークに慎重に統合する新しいシステム ランタイムである Miro を紹介します。
この目標を達成するために、Miro は、明確な精度とエネルギーのトレードオフを持つパラメータに対してオンライン プロファイリングも実行し、低いオーバーヘッドで最適な値に適応します。
広範な評価により、Miro は比較のために構築したベースライン システムを大幅に上回り、一貫して高い費用対効果を達成していることが示されています。

要約(オリジナル)

Continual learning (CL) trains NN models incrementally from a continuous stream of tasks. To remember previously learned knowledge, prior studies store old samples over a memory hierarchy and replay them when new tasks arrive. Edge devices that adopt CL to preserve data privacy are typically energy-sensitive and thus require high model accuracy while not compromising energy efficiency, i.e., cost-effectiveness. Our work is the first to explore the design space of hierarchical memory replay-based CL to gain insights into achieving cost-effectiveness on edge devices. We present Miro, a novel system runtime that carefully integrates our insights into the CL framework by enabling it to dynamically configure the CL system based on resource states for the best cost-effectiveness. To reach this goal, Miro also performs online profiling on parameters with clear accuracy-energy trade-offs and adapts to optimal values with low overhead. Extensive evaluations show that Miro significantly outperforms baseline systems we build for comparison, consistently achieving higher cost-effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google