Breaking On-device Training Memory Wall: A Systematic Survey

要約

オンデバイス トレーニングは機械学習へのアプローチとしてますます人気が高まっており、モバイル デバイスやエッジ デバイス上でモデルを直接トレーニングできるようになります。
ただし、この分野における大きな課題は、これらのデバイスで使用できるメモリが限られていることです。これにより、トレーニングできるモデルのサイズと複雑さが大幅に制限される可能性があります。
この体系的な調査では、リソースに制約のあるデバイス上でより大規模で複雑なモデルのトレーニングを可能にする方法に焦点を当て、オンデバイス トレーニングのメモリの壁を打ち破るための現在の最先端技術を調査することを目的としています。
具体的には、まず、オンデバイストレーニング中に遭遇するメモリウォール現象に寄与する主な要因を分析します。
次に、メモリ制限の問題に対処する、オンデバイス トレーニングに関する包括的な文献レビューを紹介します。
最後に、オンデバイス トレーニングを要約し、今後の研究のための未解決の問題を強調します。
これらの手法の包括的な概要と、メモリの壁を打ち破るその効果を提供することで、この分野の研究者や実践者が急速に進化するオンデバイス トレーニングの状況をナビゲートできるようにしたいと考えています。

要約(オリジナル)

On-device training has become an increasingly popular approach to machine learning, enabling models to be trained directly on mobile and edge devices. However, a major challenge in this area is the limited memory available on these devices, which can severely restrict the size and complexity of the models that can be trained. In this systematic survey, we aim to explore the current state-of-the-art techniques for breaking on-device training memory walls, focusing on methods that can enable larger and more complex models to be trained on resource-constrained devices. Specifically, we first analyze the key factors that contribute to the phenomenon of memory walls encountered during on-device training. Then, we present a comprehensive literature review of on-device training, which addresses the issue of memory limitations. Finally, we summarize on-device training and highlight the open problems for future research. By providing a comprehensive overview of these techniques and their effectiveness in breaking memory walls, we hope to help researchers and practitioners in this field navigate the rapidly evolving landscape of on-device training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google