要約
財団モデル(FMS)は、さまざまなドメインで顕著な成功を収めていますが、ヘルスケアでの採用は依然として限られています。
医療画像、遺伝的バイオマーカー、および電子健康記録からの時系列において大きな進歩がありましたが、ウェアラブルデバイスを介した患者の行動監視のFMSの可能性は既知のままです。
これらのデータセットは本質的に不均一でマルチソースであり、多くの場合、不足しているデータの高い割合を示し、独自の課題を提起します。
このペーパーでは、ウェアラブルデバイスから実際のデータを処理するために特別に設計された、修正されたベクトル量子化された分散自動エンコーダー(VQ-VAE)に基づいた新しいFMを紹介します。
精神科患者の幅広いコホートで訓練された私たちの事前に守られたFMは、自殺患者の保有コホートを微調整することなく、潜在的な表現を介して下流のタスクを実行することを実証します。
これを説明するために、自殺検出のための確率的変化点検出アルゴリズムを開発し、感情状態の予測におけるFMの有効性を実証します。
我々の結果は、VQ-VAEの離散的な潜在構造が、監視されていない感情予測のパフォーマンスを監督された次元が増加すると、監視されていない精度が低下すると一致しながら、監督された感情予測のパフォーマンスを一致させながら、VQ-Vaeの個別の潜在的な構造がパフォーマンスを上回ることを示しています。
このトレードオフは、将来のFMSがハイブリッドの離散的な連続構造を統合して、タスク全体でバランスの取れたパフォーマンスを統合する必要性を強調しています。
要約(オリジナル)
Foundation models (FMs) have achieved remarkable success across various domains, yet their adoption in healthcare remains limited. While significant advances have been made in medical imaging, genetic biomarkers, and time series from electronic health records, the potential of FMs for patient behavior monitoring through wearable devices remains underexplored. These datasets are inherently heterogeneous, multisource, and often exhibit high rates of missing data, posing unique challenges. This paper introduces a novel FM based on a modified vector quantized variational autoencoder (VQ-VAE), specifically designed to process real-world data from wearable devices. We demonstrate that our pretrained FM, trained on a broad cohort of psychiatric patients, performs downstream tasks via its latent representation without fine-tuning on a held-out cohort of suicidal patients. To illustrate this, we develop a probabilistic change-point detection algorithm for suicide detection and demonstrate the FM’s effectiveness in predicting emotional states. Our results show that the discrete latent structure of the VQ-VAE outperforms a state-of-the-art Informer architecture in unsupervised suicide detection, while matching its performance in supervised emotion prediction when the latent dimensionality is increased, though at the cost of reduced unsupervised accuracy. This trade-off highlights the need for future FMs to integrate hybrid discrete-continuous structures for balanced performance across tasks.
arxiv情報
著者 | Rodrigo Oliver,Josué Pérez-Sabater,Leire Paz-Arbaizar,Alejandro Lancho,Antonio Artés,Pablo M. Olmos |
発行日 | 2025-03-19 14:01:16+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google