Towards Low-Energy Adaptive Personalization for Resource-Constrained Devices

要約

データ ドリフトに対処するための機械学習 (ML) モデルのパーソナライズは、モノのインターネット (IoT) アプリケーションのコンテキストにおいて重要な課題です。
現在、ほとんどのアプローチは、新しいデータに適応するために完全な基本モデルまたはその最後の数層のいずれかを微調整することに焦点を当てており、多くの場合、エネルギーコストは無視されています。
ただし、さまざまなタイプのデータ ドリフトが存在し、完全な基本モデルまたは最後のいくつかのレイヤーを微調整しても、特定のシナリオでは最適なパフォーマンスが得られない場合があります。
私たちは、リソースに制約のあるデバイス向けに設計された低エネルギー適応型パーソナライゼーション フレームワークである Target Block Fine-Tuning (TBFT) を提案します。
データ ドリフトとパーソナライゼーションを、入力レベル、機能レベル、出力レベルの 3 つのタイプに分類します。
タイプごとにモデルのさまざまなブロックを微調整して、エネルギー コストを削減しながら最適なパフォーマンスを実現します。
具体的には、入力レベル、機能レベル、出力レベルは、モデルの前部、中間、後部のブロックの微調整に対応します。
ResNet モデル、3 つのデータセット、3 つの異なるトレーニング サイズ、および Raspberry Pi で TBFT を評価します。
各ブロックが個別に微調整され、パフォーマンスの向上が平均される $Block Avg$ と比較すると、TBFT は、完全な微調整と比較して、平均 41.57% のエネルギー消費を節約しながら、モデルの精度が平均 15.30% 向上します。
。

要約(オリジナル)

The personalization of machine learning (ML) models to address data drift is a significant challenge in the context of Internet of Things (IoT) applications. Presently, most approaches focus on fine-tuning either the full base model or its last few layers to adapt to new data, while often neglecting energy costs. However, various types of data drift exist, and fine-tuning the full base model or the last few layers may not result in optimal performance in certain scenarios. We propose Target Block Fine-Tuning (TBFT), a low-energy adaptive personalization framework designed for resource-constrained devices. We categorize data drift and personalization into three types: input-level, feature-level, and output-level. For each type, we fine-tune different blocks of the model to achieve optimal performance with reduced energy costs. Specifically, input-, feature-, and output-level correspond to fine-tuning the front, middle, and rear blocks of the model. We evaluate TBFT on a ResNet model, three datasets, three different training sizes, and a Raspberry Pi. Compared with the $Block Avg$, where each block is fine-tuned individually and their performance improvements are averaged, TBFT exhibits an improvement in model accuracy by an average of 15.30% whilst saving 41.57% energy consumption on average compared with full fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google