DUET: A Tuning-Free Device-Cloud Collaborative Parameters Generation Framework for Efficient Device Model Generalization

要約

デバイス モデルの一般化 (DMG) は、オンデバイスの機械学習アプリケーションに関する実用的でありながら調査が不十分な研究トピックです。
これは、スマート モバイルでの事前トレーニング済みクラウド モデルのパフォーマンスの向上など、リソースに制約のあるデバイスにデプロイされた場合の事前トレーニング済みモデルの一般化能力を向上させることを目的としています。
かなり多くの研究がクラウドとデバイス間のデータ分散の変化を調査してきましたが、それらのほとんどは、DMG を促進するために、個々のデバイス用にパーソナライズされたデータのモデルの微調整に焦点を当てています。
それらの有望性にもかかわらず、これらのアプローチはデバイス上での再トレーニングを必要とします。これは、オーバーフィッティングの問題と、リアルタイム データで勾配計算を実行する際の大きな時間遅延のために、実際には実行不可能です。
この論文では、微調整によってもたらされる計算コストは​​かなり不必要になる可能性があると主張します。
その結果、計算コストを増やすことなくDMGを改善するための新しい視点、つまり、データ分布をパラメーターに直接マッピングするデバイス固有のパラメーター生成を提示します。
具体的には、効率的なデバイスクラウド連携パラメータ生成フレームワークDUETを提案します。
DUET は、デバイスとクラウド間のデータ転送の低コストの転送と低遅延のみを必要とする強力なクラウド サーバーに展開されます。
そうすることで、DUET は、個々のデバイスのパーソナライズされたリアルタイム データに基づいて、デバイス固有のモデルの重みの実現をリハーサルできます。
重要なのは、DUET がクラウドとデバイスを「デュエット」コラボレーションとしてエレガントに接続し、DMG を微調整から解放し、より高速で正確な DMG パラダイムを可能にすることです。
3 つの公開データセットで DUET の広範な実験的研究を実施し、実験結果により、さまざまな DMG タスクに対するフレームワークの有効性と一般化可能性が確認されました。

要約(オリジナル)

Device Model Generalization (DMG) is a practical yet under-investigated research topic for on-device machine learning applications. It aims to improve the generalization ability of pre-trained models when deployed on resource-constrained devices, such as improving the performance of pre-trained cloud models on smart mobiles. While quite a lot of works have investigated the data distribution shift across clouds and devices, most of them focus on model fine-tuning on personalized data for individual devices to facilitate DMG. Despite their promising, these approaches require on-device re-training, which is practically infeasible due to the overfitting problem and high time delay when performing gradient calculation on real-time data. In this paper, we argue that the computational cost brought by fine-tuning can be rather unnecessary. We consequently present a novel perspective to improving DMG without increasing computational cost, i.e., device-specific parameter generation which directly maps data distribution to parameters. Specifically, we propose an efficient Device-cloUd collaborative parametErs generaTion framework DUET. DUET is deployed on a powerful cloud server that only requires the low cost of forwarding propagation and low time delay of data transmission between the device and the cloud. By doing so, DUET can rehearse the device-specific model weight realizations conditioned on the personalized real-time data for an individual device. Importantly, our DUET elegantly connects the cloud and device as a ‘duet’ collaboration, frees the DMG from fine-tuning, and enables a faster and more accurate DMG paradigm. We conduct an extensive experimental study of DUET on three public datasets, and the experimental results confirm our framework’s effectiveness and generalisability for different DMG tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google