MetaNetwork: A Task-agnostic Network Parameters Generation Framework for Improving Device Model Generalization

要約

モバイル デバイスに機械学習モデルを展開することへの注目が高まっています。
デバイスのハードウェア リソースの制限によるモデルの一般化の問題に取り組むには、クラウド モデルからのモデル圧縮などの手法によってデバイス モデルを軽量化する必要があります。
ただし、デバイスモデルの一般化を改善するための主な障害は、クラウドモデルとデバイスモデルのデータ間の分布シフトです。これは、デバイスモデルのデータ分布が時間の経過とともに変化することが多いためです (たとえば、ユーザーはレコメンデーションシステムで異なる好みを持っている可能性があります)。
リアルタイムの微調整と蒸留法はこの状況を考慮に入れていますが、これらの方法にはオンデバイスのトレーニングが必要です。これは、計算能力が低く、デバイスにリアルタイムでラベル付けされたサンプルがないため、実際には実行不可能です。
この論文では、オンデバイストレーニングなしでクラウドから適応デバイスモデルパラメーターを生成するための、MetaNetwork という名前の新しいタスクに依存しないフレームワークを提案します。
具体的には、当社の MetaNetwork はクラウド上にデプロイされ、MetaGenerator および MetaStabilizer モジュールで構成されています。
MetaGenerator は、サンプルからモデル パラメーターへのマッピング関数を学習するように設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメーターを生成してデバイスに配信できます。
MetaStabilizer は、MetaGenerator の振動を減らし、収束を加速し、トレーニングと推論の両方でモデルのパフォーマンスを向上させることを目的としています。
3 つのデータセットを持つ 2 つのタスクでメソッドを評価します。
広範な実験により、MetaNetwork がさまざまなモダリティで競争力のあるパフォーマンスを達成できることが示されています。

要約(オリジナル)

Deploying machine learning models on mobile devices has gained increasing attention. To tackle the model generalization problem with the limitations of hardware resources on the device, the device model needs to be lightweight by techniques such as model compression from the cloud model. However, the major obstacle to improve the device model generalization is the distribution shift between the data of cloud and device models, since the data distribution on device model often changes over time (e.g., users might have different preferences in recommendation system). Although real-time fine-tuning and distillation method take this situation into account, these methods require on-device training, which are practically infeasible due to the low computational power and a lack of real-time labeled samples on the device. In this paper, we propose a novel task-agnostic framework, named MetaNetwork, for generating adaptive device model parameters from cloud without on-device training. Specifically, our MetaNetwork is deployed on cloud and consists of MetaGenerator and MetaStabilizer modules. The MetaGenerator is designed to learn a mapping function from samples to model parameters, and it can generate and deliver the adaptive parameters to the device based on samples uploaded from the device to the cloud. The MetaStabilizer aims to reduce the oscillation of the MetaGenerator, accelerate the convergence and improve the model performance during both training and inference. We evaluate our method on two tasks with three datasets. Extensive experiments show that MetaNetwork can achieve competitive performances in different modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google