DAPPER: Label-Free Performance Estimation after Personalization for Heterogeneous Mobile Sensing

要約

多くのアプリケーションは、モバイル デバイスのセンサーと機械学習を利用して、新しいサービスを提供しています。
ただし、さまざまなユーザー、デバイス、環境などのさまざまな要因がそのようなアプリケーションのパフォーマンスに影響を与えるため、モバイル センシングではドメイン シフト (トレーニング ドメインとターゲット ドメイン間の分布シフト) が重要な問題となります。
この困難な問題を解決するためのドメイン適応の試みにもかかわらず、さまざまな要因間の複雑な相互作用のため、そのパフォーマンスは信頼できません。
原則として、パフォーマンスの不確実性は、グラウンド トゥルース ラベルを使用したパフォーマンス検証によって特定し、補うことができます。
ただし、すべてのユーザーが高品質で十分なラベル付きデータを収集することは不可能です。
この問題に対処するために、ラベルのないターゲット データのみを使用してターゲット ドメインの適応パフォーマンスを推定する DAPPER (Domain AdaPtation Performance EstimatoR) を提案します。
私たちの重要なアイデアは、モデルの入力と対応する出力の間の相互情報に基づいてモデルのパフォーマンスを近似することです。
4 つの現実世界のセンシング データセットを 6 つのベースラインと比較して評価したところ、平均して、DAPPER は推定精度において最先端のベースラインを 39.8% 上回っています。
さらに、デバイス上での実験では、DAPPER がベースラインと比較して最大 396 倍少ない計算オーバーヘッドを達成することが示されています。

要約(オリジナル)

Many applications utilize sensors in mobile devices and machine learning to provide novel services. However, various factors such as different users, devices, and environments impact the performance of such applications, thus making the domain shift (i.e., distributional shift between the training domain and the target domain) a critical issue in mobile sensing. Despite attempts in domain adaptation to solve this challenging problem, their performance is unreliable due to the complex interplay among diverse factors. In principle, the performance uncertainty can be identified and redeemed by performance validation with ground-truth labels. However, it is infeasible for every user to collect high-quality, sufficient labeled data. To address the issue, we present DAPPER (Domain AdaPtation Performance EstimatoR) that estimates the adaptation performance in a target domain with only unlabeled target data. Our key idea is to approximate the model performance based on the mutual information between the model inputs and corresponding outputs. Our evaluation with four real-world sensing datasets compared against six baselines shows that on average, DAPPER outperforms the state-of-the-art baseline by 39.8% in estimation accuracy. Moreover, our on-device experiment shows that DAPPER achieves up to 396X less computation overhead compared with the baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google