Monitoring and Adapting ML Models on Mobile Devices

要約

ML モデルは、低遅延の推論とオフライン操作を目的として、モバイル デバイスにプッシュされることが増えています。
ただし、モデルがデプロイされると、ML オペレーターがその精度を追跡するのは難しく、予測不能に低下する可能性があります (データ ドリフトなどにより)。
私たちは、ユーザーからのフィードバックを必要とせずに、モバイル デバイス上でモデルを継続的に監視し、適応させるための初のエンドツーエンド システムを設計します。
私たちの重要な観察は、モデルの劣化は多くの場合、特定の根本原因によるものであり、大規模なデバイス グループに影響を与える可能性があるということです。
したがって、システムは多数のデバイスにわたって一貫した機能低下を検出すると、根本原因分析を使用して問題の原因を特定し、原因固有の適応を適用します。
2 つのコンピューター ビジョン データセットでシステムを評価し、既存のアプローチと比較して精度が一貫して向上していることを示しました。
運転中の車から収集した写真を含むデータセットでは、私たちのシステムは精度を平均 15% 向上させました。

要約(オリジナル)

ML models are increasingly being pushed to mobile devices, for low-latency inference and offline operation. However, once the models are deployed, it is hard for ML operators to track their accuracy, which can degrade unpredictably (e.g., due to data drift). We design the first end-to-end system for continuously monitoring and adapting models on mobile devices without requiring feedback from users. Our key observation is that often model degradation is due to a specific root cause, which may affect a large group of devices. Therefore, once the system detects a consistent degradation across a large number of devices, it employs a root cause analysis to determine the origin of the problem and applies a cause-specific adaptation. We evaluate the system on two computer vision datasets, and show it consistently boosts accuracy compared to existing approaches. On a dataset containing photos collected from driving cars, our system improves the accuracy on average by 15%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google