Neural Mixed Effects for Nonlinear Personalized Predictions

要約

パーソナライズされた予測は、過去のラベル付けされた観察に基づいてその人の将来の観察を予測する機械学習アプローチであり、通常、毎日の気分評価を予測するなど、連続したタスクに使用されます。
パーソナライズされた予測を行う場合、モデルは 2 種類の傾向を組み合わせることができます: (a) 人々全体で共有される傾向、つまり、週末の方が幸せであるなどの個人の一般的な傾向、および (b) 各人に固有の傾向、つまり、個人
ストレスの多い毎週の会議など、特定の傾向。
混合効果モデルは、個人の一般的なパラメーターと個人固有のパラメーターを組み合わせて両方の傾向を研究するための一般的な統計モデルです。
線形混合効果モデルはニューラル ネットワークと統合することで機械学習で人気を集めていますが、これらの統合は現在、線形の個人固有のパラメーターに限定されており、非線形の個人固有の傾向は排除されています。
この論文では、ニューラル ネットワーク内の任意の場所で非線形の個人固有のパラメーターをスケーラブルな方法で最適化するニューラル混合効果 (NME) モデルを提案します。
NME は、ニューラル ネットワーク最適化の効率と非線形混合効果モデリングを組み合わせます。
私たちは経験的に、NME が 6 つの単峰性および多峰性のデータセット全体でパフォーマンスを向上させることを観察しています。その中には、毎日の気分を予測するスマートフォン データセットや、母親の半数が少なくとも中等度のうつ病の症状を経験している感情状態のシーケンスを予測する母親と思春期のデータセットが含まれます。
さらに、感情状態シーケンスを予測する神経条件付ランダム場 (CRF) を含む 2 つのモデル アーキテクチャに対して NME を評価します。CRF は感情状態間の非線形の個人固有の時間的遷移を学習します。
母親と思春期のデータセットにおけるこれらの個人固有の推移の分析により、母親のうつ病の症状に関連する解釈可能な傾向が示されます。

要約(オリジナル)

Personalized prediction is a machine learning approach that predicts a person’s future observations based on their past labeled observations and is typically used for sequential tasks, e.g., to predict daily mood ratings. When making personalized predictions, a model can combine two types of trends: (a) trends shared across people, i.e., person-generic trends, such as being happier on weekends, and (b) unique trends for each person, i.e., person-specific trends, such as a stressful weekly meeting. Mixed effect models are popular statistical models to study both trends by combining person-generic and person-specific parameters. Though linear mixed effect models are gaining popularity in machine learning by integrating them with neural networks, these integrations are currently limited to linear person-specific parameters: ruling out nonlinear person-specific trends. In this paper, we propose Neural Mixed Effect (NME) models to optimize nonlinear person-specific parameters anywhere in a neural network in a scalable manner. NME combines the efficiency of neural network optimization with nonlinear mixed effects modeling. Empirically, we observe that NME improves performance across six unimodal and multimodal datasets, including a smartphone dataset to predict daily mood and a mother-adolescent dataset to predict affective state sequences where half the mothers experience at least moderate symptoms of depression. Furthermore, we evaluate NME for two model architectures, including for neural conditional random fields (CRF) to predict affective state sequences where the CRF learns nonlinear person-specific temporal transitions between affective states. Analysis of these person-specific transitions on the mother-adolescent dataset shows interpretable trends related to the mother’s depression symptoms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google