Skip2-LoRA: A Lightweight On-device DNN Fine-tuning Method for Low-cost Edge Devices

要約

この論文では、事前トレーニングされたモデルと展開されたモデルの間のギャップに対処するための、ディープ ニューラル ネットワークの軽量微調整方法として Skip2-LoRA を提案します。
私たちのアプローチでは、トレーニング可能な LoRA (低ランク アダプテーション) アダプターが最後の層と他のすべての層の間に挿入され、後方計算コストを低く抑えながらネットワークの表現力を強化します。
このアーキテクチャは、前方パスの中間計算結果をキャッシュするのに適しており、トレーニング エポックの進行に応じて、表示されているサンプルの前方計算をスキップできます。
私たちは、Skip2-LoRA と呼ばれる、提案されたアーキテクチャとキャッシュの組み合わせを実装し、15 ドルのシングルボード コンピューターでテストしました。
私たちの結果は、Skip2-LoRA は、精度を維持しながら同じ数のトレーニング可能なパラメータを持つ同等品と比較して、微調整時間を平均 90.0% 短縮し、マイクロコントローラー ボード上でわずか数秒しかかからないことを示しています。

要約(オリジナル)

This paper proposes Skip2-LoRA as a lightweight fine-tuning method for deep neural networks to address the gap between pre-trained and deployed models. In our approach, trainable LoRA (low-rank adaptation) adapters are inserted between the last layer and every other layer to enhance the network expressive power while keeping the backward computation cost low. This architecture is well-suited to cache intermediate computation results of the forward pass and then can skip the forward computation of seen samples as training epochs progress. We implemented the combination of the proposed architecture and cache, denoted as Skip2-LoRA, and tested it on a $15 single board computer. Our results show that Skip2-LoRA reduces the fine-tuning time by 90.0% on average compared to the counterpart that has the same number of trainable parameters while preserving the accuracy, while taking only a few seconds on the microcontroller board.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google