CRoP: Context-wise Robust Static Human-Sensing Personalization

要約

ディープラーニングとモノのインターネットの進歩により、多様なヒューマンセンシングアプリケーションが誕生しました。
ただし、さまざまな要因や状況の影響を受ける、人間の感知における独特のパターンは、自然な分布の変化により、一般的なニューラル ネットワーク モデルのパフォーマンスに課題をもたらします。
これに対処するために、パーソナライゼーションはモデルを個々のユーザーに合わせて調整します。
しかし、ほとんどのパーソナライゼーション研究では、感覚データのコンテキストにわたるユーザー内の異質性が見落とされており、ユーザー内の一般化可能性が制限されています。
この制限は、利用可能なデータが限られているため一般化と個別化の両方が妨げられる臨床アプリケーションでは特に重要です。
特に、ユーザー内のセンシング属性は治療の進行などの外部要因によって変化すると予想され、課題をさらに複雑にしています。
ユーザー内一般化の課題に対処するために、この研究では、新しい静的パーソナライゼーション アプローチである CRoP を導入しています。
CRoP は、既製の事前トレーニング済みモデルを一般的な開始点として活用し、残りのパラメータの一般的な知識を維持しながら、最小限のサブネットワークでの適応枝刈りを通じてユーザー固有の特性を捕捉します。
CRoP は、現実世界の健康領域からの 2 つを含む 4 つの人間センシング データセットにわたって優れたパーソナライゼーションの有効性とユーザー内の堅牢性を実証し、その実用的および社会的影響を強調しています。
さらに、CRoP の一般化能力と設計の選択をサポートするために、勾配内積分析、アブレーション研究、最先端のベースラインとの比較を通じて経験的根拠を提供します。

要約(オリジナル)

The advancement in deep learning and internet-of-things have led to diverse human sensing applications. However, distinct patterns in human sensing, influenced by various factors or contexts, challenge the generic neural network model’s performance due to natural distribution shifts. To address this, personalization tailors models to individual users. Yet most personalization studies overlook intra-user heterogeneity across contexts in sensory data, limiting intra-user generalizability. This limitation is especially critical in clinical applications, where limited data availability hampers both generalizability and personalization. Notably, intra-user sensing attributes are expected to change due to external factors such as treatment progression, further complicating the challenges. To address the intra-user generalization challenge, this work introduces CRoP, a novel static personalization approach. CRoP leverages off-the-shelf pre-trained models as generic starting points and captures user-specific traits through adaptive pruning on a minimal sub-network while preserving generic knowledge in the remaining parameters. CRoP demonstrates superior personalization effectiveness and intra-user robustness across four human-sensing datasets, including two from real-world health domains, underscoring its practical and social impact. Additionally, to support CRoP’s generalization ability and design choices, we provide empirical justification through gradient inner product analysis, ablation studies, and comparisons against state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google