Learning To Help: Training Models to Assist Legacy Devices

要約

物理デバイス上のハードウェアに実装された機械学習モデルは、長期間にわたって展開される可能性があります。
デバイスの計算能力は制限されており、新しい改良点に関しては時代遅れになる可能性があります。
ML モデルのサイズが大きいため、一部の計算を (エッジ クラウドなどに) オフロードすると、このようなレガシー デバイスに役立ちます。
私たちはこの問題を、クライアント (デバイス) を支援するために専門家 (エッジ) が訓練されなければならない、棄権学習 (LWA) のフレームワークに投げかけます。
LWA に関するこれまでの研究では、エッジがオラクルか人間の専門家であると想定してクライアントをトレーニングしました。
この作業では、固定 (レガシー) クライアントのエキスパートをトレーニングするという逆の問題を形式化します。
LWA と同様に、クライアントは拒否ルールを使用して、いつ推論をエキスパートに (コストをかけて) オフロードするかを決定します。
ベイズ最適則を見つけ、一般化限界を証明し、一貫した代理損失関数を見つけます。
経験的な結果は、私たちのフレームワークが信頼度に基づく拒否ルールよりも優れていることを示しています。

要約(オリジナル)

Machine learning models implemented in hardware on physical devices may be deployed for a long time. The computational abilities of the device may be limited and become outdated with respect to newer improvements. Because of the size of ML models, offloading some computation (e.g. to an edge cloud) can help such legacy devices. We cast this problem in the framework of learning with abstention (LWA) in which the expert (edge) must be trained to assist the client (device). Prior work on LWA trains the client assuming the edge is either an oracle or a human expert. In this work, we formalize the reverse problem of training the expert for a fixed (legacy) client. As in LWA, the client uses a rejection rule to decide when to offload inference to the expert (at a cost). We find the Bayes-optimal rule, prove a generalization bound, and find a consistent surrogate loss function. Empirical results show that our framework outperforms confidence-based rejection rules.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google